- 博客(11)
- 收藏
- 关注
RSS订阅原创 Linux学习笔记 --- Centos7下查看CPU个数以及核数
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu core...
2019-05-28 10:02:31
1049
原创 java TreeMap详解
TreeMap 简介TreeMap 是一个有序的key-value集合，它是通过红黑树实现的。TreeMap继承于AbstractMap，所以它是一个Map，即一个key-value集合。TreeMap 实现了NavigableMap接口，意味着它支持一系列的导航方法。比如返回有序的key集合。TreeMap 实现了Cloneable接口，意味着它能被克隆。TreeMap 实现了ja...
2019-05-23 11:24:31
7374
1
原创 flink KeyedStream的reduce操作
序本文主要研究一下flink KeyedStream的reduce操作实例 @Test public void testWordCount() throws Exception { // Checking input parameters// final ParameterTool params = ParameterTool.fromA...
2019-05-21 10:43:51
1735
原创 基于flink的流数据统计
一、统计流程image.png所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据Flink程序构建的基本单元是stream和transformation（DataSet实质上也是stream）。stream是一个中间结果数据...
2019-05-20 18:17:43
2643
原创 Flink Table API 使用详解
Table API是流处理和批处理通用的关系型API，Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的，Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同，Table API查询是以Java或Scala中的语言嵌入样式来定义的，具有IDE支持如:自动完...
2019-05-17 18:10:33
5158
3
原创 Hadoop cdh版本搭建
1概述本文是针对LinuxCentos7服务器与CDH5.11的安装手册。1.2 关于CDH和ClouderaManagerCDH(Cloudera's Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloude...
2019-05-13 12:07:58
508
原创 MySQL5.7创建用户并授权，设置允许远程连接
一. 创建用户命令:CREATEUSER'username'@'host'IDENTIFIEDBY'password';说明： username：你将创建的用户名 host：指定该用户在哪个主机上可以登陆，如果是本地用户可用localhost，如果想让该用户可以从任意远程主机登陆，可以使用通配符% password：该用户的登陆密码，密码可以为空，...
2019-05-11 10:20:21
3721
原创 flink入门原理简介
Apache Flink（以下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。Fl...
2019-05-10 11:36:51
393
原创 Java8新特性-Stream操作
一. 基本概念二. 串行流和并行流三. 中间操作 和 最终操作一. 基本概念1.1 为什么加入 集合的流式操作 JDK8 的Stream 是一个受到 函数式编程 和 多核时代影响而产生的东西。很多时候我们需要到底层返回数据，上层再对数据进行遍历，进行一些数据统计，但是之前的Java API 中很少有这种方法，这就需要我们自己来 Iterator 来...
2019-05-09 18:23:25
181
原创 Java 字符串拼接 五种方法的性能比较分析
> 字符串拼接一般使用“+”，但是“+”不能满足大批量数据的处理，Java中有以下五种方法处理字符串拼接，各有优缺点，程序开发应选择合适的方法实现。1. 加号 “+”2. String contact() 方法3. StringUtils.join() 方法4. StringBuffer append() 方法5. StringBuilder append() 方法&...
2019-05-08 19:32:55
3518
原创 Java 8 Stream Tutorial
本文采用实例驱动的方式，对JAVA8的stream API进行一个深入的介绍。虽然JAVA8中的stream API与JAVA I/O中的InputStream和OutputStream在名字上比较类似，但是其实是另外一个东西，Stream API是JAVA函数式编程中的一个重要组成部分。本文描述如何使用JAVA8的Stream API。通过本文，你可以了解Stream API的执行顺序，不同...
2019-05-06 14:23:34
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人