大数据
BullDemonKing等待唐僧的日子
云计算、大数据、信息安全、系统架构、人工智能
展开
-
大数据组件常用端口总结(持续更新中......)
组件名称 端口号 端口作用 Hadoop (Yarn、HDFS) 50070 HDFS WEB UI端口 8088 Yarn 的WEB UI 接口 19888 jobhistory WEB UI端口 8020 高可用的HDFS RPC端口 9000 非高可用的HDFS RPC端口 8485...原创 2020-04-08 09:22:01 · 208 阅读 · 0 评论 -
ElasticSearch 7.x API查询第一节------常用cat APIs(未完待续....)
实验环境:ES集群三台(talos112、talos113、talos114)、Kibana(talos201)软件版本:JDK 1.8、ElasticSearch 7.5.2、Kibana 7.5.2总结说明:所有查询都支持v参数,用来返回表格的表头信息,如: GET /_cat/master?v 所有查询都支持help参数,用来返回本查询支持的字段,如:GET /_cat/mas...原创 2020-03-30 16:07:58 · 416 阅读 · 0 评论 -
ElasticSearch服务器运行环境设置
操作目的:实现ElasticSearch在Centos服务器中运行操作环境:ElasticSearch 7.5、Centos 7操作步骤:修改/etc/security/limits.conf文件 # /etc/security/limits.conf##This file sets the resource limits for the users logged in vi...原创 2020-03-27 15:55:50 · 284 阅读 · 0 评论 -
kafka版本演进
kafka目前总共演进了7个大版本,分别是0.7、0.8、0.9、0.10、0.11、1.0和2.0,其中的小版本和patch版本很多。哪些版本引入了哪些重大的功能改进?建议你最好做到如数家珍,因为这样不仅令你在和别人交谈时显得很酷,而且如果你要向架构师转型或者已然是架构师,那么这些都是能够帮助你进行技术选型、架构评估的重要依据。我们先从0.7版本说起,实际上也没有什么可说的,这是最早开源时的...转载 2020-03-11 10:51:05 · 1226 阅读 · 0 评论 -
记录一个Hadoop Configuration易产生的误用
Hadoop提供了一个扩展性极好的key/value格式的配置管理器Configuration,你可以设置任意的属性名,并通过Configuration对象获取对应的属性值。Hadoop Common中定义了Configuration的基本实现,其他模块/系统,比如MapReduce,HDFS,YARN,HBase等,均在这个基础实现基础上,实现了自己的Configuration,转载 2015-02-11 08:51:03 · 551 阅读 · 0 评论