Hadoop
文章平均质量分 76
magicchu
这个作者很懒,什么都没留下…
展开
-
Nodemanager Unhealthy(exit code :143/35)
exit code:35 导致NM不可用原创 2022-09-06 09:54:42 · 835 阅读 · 1 评论 -
shuffle文件损坏导致nodemanager重启失败
NM重启失败原创 2022-08-30 10:56:05 · 353 阅读 · 0 评论 -
CDH集群常用通信端口汇总
Hadoop:50070:HDFS WEB UI端口8020 : 高可用的HDFS RPC端口9000 : 非高可用的HDFS RPC端口8088 : Yarn 的WEB UI 接口8485 : JournalNode 的RPC端口8019 : ZKFC端口19888:jobhistory WEB UI端口Zookeeper:2181 : 客户端连接zookeeper的端口2888 : zookeeper集群内通讯使用,Leader监听此端口3888 : zookeep原创 2020-10-30 19:08:34 · 2640 阅读 · 0 评论 -
CDH参数
HDFShdfs block存储位置:dfs.datanode.data.dirfsimage存储位置:dfs.namenode.name.diredits log存储位置:dfs.namenode.edits.dirDN每块磁盘不能被hdfs使用的空间:dfs.datanode.du.reserved默认10GB,一般建议单盘空间25%bolck块大小:dfs.blocksizebolck副本数:dfs.replicationYarn日志汇聚功能:yarn.log-aggregat原创 2020-10-21 18:03:22 · 483 阅读 · 0 评论 -
CDH6中的各种目录
Service Monitor:Service Monitor存储了时间序列和健康数据。Impla查询的元数据,Yarn应用的元数据。默认情况下,数据时存储在/var/lib/cloudera-service-monitor/文件夹下。Host Monitor:Host Monitor存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/文件夹下。cloudera官网介绍server/agent日志/var/log/cloudera-scm原创 2020-09-30 17:00:13 · 3758 阅读 · 0 评论 -
CDH环境问题(持续更新。。。)
环境CDH 6.1.0centos7五台VM虚拟机,内网添加节点在VM中克隆已有节点,将克隆后的节点通过Cloudera Manager 添加到集群中,安装过程中报错:安装失败。 无法接收 Agent 发出的检测信号。排查日志发现连接不上管理节点7182端口:Heartbeating to master:7182 failed。 但是telnet可以通。卸载agent后重装也不行。原因是,这台虚拟机是克隆别的节点的,已经有agent的UUID了,和别的节点冲突,首次启动Agent,它会生成一个原创 2020-09-29 17:01:25 · 361 阅读 · 0 评论 -
CDH6集群迁移(IP地址更改)操作文档
CDH6集群迁移(IP地址更改)操作文档1、更改IP地址:2、更改host:3、server节点上修改MySQL数据库,4、更改agent配置5、更改yum仓库地址6、检查ntp配置7、检查ssh是否能连通8、启动server、agent:1、更改IP地址:vi /etc/sysconfig/network-scripts/ifcng-ens332、更改host:vi /etc/hosts3、server节点上修改MySQL数据库,mysql -u root -puse scm;select原创 2020-09-29 14:09:59 · 739 阅读 · 0 评论 -
MapReduce提交job到Yarn的流程学习
引言以MapReduce为例,提交一个MapReduce application的大致流程如下,其中Resource Manager简写为RM,Node Manager简写为NM,Application Master简写为AM。Top↑提交application大致流程(1)首先client里执行一个MapReduce程序,这个程序运行在client端的JVM里,在main方法中最...转载 2019-12-04 16:04:14 · 203 阅读 · 0 评论