- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 不同策略下的Kafka主题创建
创建主题时，Topic的Partition自动划分时，默认根据节点及磁盘上已有的Partition数进行均衡划分，如果期望根据磁盘容量进行Partition划分，那么需要修改Kafka服务配置“log.partition.strategy”为“capacity”。Kafka创建Topic时，支持基于和两种选项组合生成分区及副本的分配方案且支持 “--zookeeper” 和 “--bootstrap-server”两种方式。所以，禁用还是启用这两种组合，就形成了。
2024-07-01 22:15:15
1082
原创 如何规划HDFS容量？
HDFS DataNode以Block的形式，保存用户的，同时在NameNode中生成一个，对应DataNode中每个文件、目录和Block。NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多，NameNode文件对象总量增加，需要消耗更多的内存，使集群现有硬件可能会难以满足业务需求，且导致集群难以扩展。规划存储大量文件的HDFS系统容量，就是规划NameNode的容量规格和DataNode的容量规格，并根据容量设置参数。
2024-07-01 21:10:16
361
原创 Hadoop集群部署方案分享
①管理节点：Management Node (MN)，用于安装集群的管理系统，对部署在集群中的节点及服务进行集中管理。②控制节点：Control Node (CN)，控制节点控制并监控数据节点执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能，包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。
2024-06-30 12:17:57
230
原创 HDFS集群数据节点巡检和修复
①因HDFS特点之一：容忍硬件故障——将硬件故障视为常态，所以我们在维护大数据集群时，需要及时解决硬件故障，保障底层的稳定。②使用产品华为FusionInsight HD 6.5.1。③目标：后台定位坏盘IP、位置、具体原因，并实现修复。
2024-03-12 15:48:37
920
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人