- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 线程合并
应用场景:如何讲一个大任务合并成多个小任务,多个小任务其实就是多个线程去完成,他们执行的先后顺序不可能完全一直,如像hadoop的分布式计算,多个reduce任务最终把数据集合并倒数ouput输出。 ...
2019-03-06 10:57:12
286
翻译 flink源码编译
1.下载flink源码 git clonehttps://github.com/apache/flink.git 需要源码来构建Flink。可以[下载发行版源码]({{ site.download_url }}) 或这 [从 git 仓库复制]({{ site.github_url }})。 此外,您需要Maven 3和JDK(Java Development Kit)。 需要使...
2019-03-06 10:54:22
1091
原创 cloudera manager5.7忘记admin 密码怎么办?
由于运维人员再一次的操作中把,cdh5.7测试环境的秘密修改错误以后,无法登陆上去,需要重新修改密码。 查找CDHdb文件 [root@cdh1 cmf]# find / -name db.properties /opt/cm-5.7.1/etc/cloudera-scm-server/db.properties /usr/local/bigdata/software/cm-5.7.1/et...
2019-01-29 10:12:44
1914
原创 日增TB级Elasticsearch索引数据存储别名优化
背景 随着业务量的增加,以及其他厂商数据的对接整个,我们的数据量从每天gb到pb的增加,实现了千亿级别的经济方案。 疼点:Elasticsearch在新建索引都需要指定shard分片数,当索引数据量增加不好扩容,业务代码需要调整等等; 索引别名 Elasticsearch中的API在针对特定索引时接受索引名称,并在适用时接受多个索引。索引别名API允许使用名称别名化索引,所有API都自动将...
2019-01-25 18:27:52
1028
原创 java笔记
1. 可变参数 public static void main(String[] args) { System.out.println(addParms(1,2)); System.out.println(addParms(1,2,3,4)); } public static int addParms(int ... args){ int sum = 0; for(int i=0
2016-03-29 10:10:22
174
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人