![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 81
大数据研习社
「大数据研习社」号主,实战大数据(Hadoop+Spark+Flink)作者,从Java开发到大数据开发13年。微信:dashuju_2017,加好友备注CSDN。
展开
-
【全网独家】大数据集群节点与硬件规划
1.大数据集群节点规划1.1 数据存储总量预估比如业务系统数据量每天增量 50T,保留周期为 30 天,那么 HDFS 存储容量为 50T * 30 天 * 3副本 * 2 倍(数据源+清晰加工) = 9000T = 8.79P1.2 DataNode节点规模预估每个机器的磁盘是 4T *10 = 40T, 每台机器的可用存储容量为 40T *0.75 = 30T, 节点预估数量= 9000T / 30 = 300 节点,所以 datanode 的节点最小数量为 300 个...原创 2022-03-28 15:23:54 · 5028 阅读 · 1 评论 -
Atlas(元数据管理)从扫盲到和Hive、HBase、Kafka、Flink等集成开发
Atlas(元数据管理)从扫盲到和Hive、HBase、Kafka、Flink等集成开发速点链接加入高手战队:http://www.dajiangtai.com/course/112.do先对数据分个类企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。(1)交易数据:用于纪录业务事件,如客户的订单,投诉记录,客服申请等,它往往用于描述在某一个时间点上业务系统发...原创 2020-03-04 21:04:12 · 4062 阅读 · 4 评论 -
【总结笔记】kafka工作常见问题汇总
没有禁用"自动创建topic"的功能已经增加参数auto.create.topics.enable=false,否则任何人只要发数据给kafka,没有对应的topic都会自动创建,一旦生产者多了会乱套。数据保留周期过短已经修改为3天,log.retention.hours=72。默认是3小时,阿里云的破环境有时候网络出问题就得三小时,来不及消费的消息就没了。节点有点少(一主一备,最小集...原创 2019-10-24 16:15:01 · 583 阅读 · 0 评论