![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 75
Doumoa
这个作者很懒,什么都没留下…
展开
-
从CDH集群中移除设备记录
从CDH集群中移除设备记录 因为公司其他业务需要,从利用率不算太高的老旧集群中分出一部分机器用于其他业务。 需要从旧CDH集群中删除指定的机器。 必须注意一点:hadoop默认副本数为3,所以一次最多移除两台机器, hadoop集群需要时间来同步集群中block块的确实副本(hadoop集群检测到副本数量不足后, 会自动从现有block块同步到其他存活的datanode) 如果副本还未同步完毕就又删除新的机器,可能会造成比较严重的数据缺失问题,难以修复 一定要注意!!! 查看所有主机: 第一步:先确定哪原创 2021-02-04 15:50:40 · 464 阅读 · 0 评论 -
CM宕机修复记录
问题 CM主机宕机后重装了系统 导致CDH集群的cloudera-scm-server服务不可用 但是存储CDH集群信息的MySQL数据库不在重装系统的主机(重点) 因为解决问题时没记录过程,所以用三台虚拟机复刻了一下流程 解决流程: 重新配置重装了系统的CM主机环境 包括安装JDK 设置/etc/hosts 安装并设置ntpd服务 下载jdbc连接jar包到/usr/share/java中 下载CM的rpm安装包 cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el原创 2021-01-26 15:29:58 · 277 阅读 · 0 评论 -
HDFS写流程
先上图: 现在客户端要上传一个200M的文件t1.txt到HDFS中: 1.客户端先创建和NameNode进行通信的对象DistributedFileSystem和获得能够与DataNode进行I/O操作的流对象FSDataOutputStream(FSDataOutputStream还封装了一个DFSoutPutstream对象来负责处理DataNode和NameNode之间的通信) 2.客户端请求NameNode上传文件 t1.txt(客户端向NameNode发送请求) 3.NameNode收到请求原创 2020-07-16 13:58:12 · 141 阅读 · 0 评论