使用Cloudera Manager搭建HDFS完全分布式集群

1.通过CM界面点击添加服务

2.进入服务安装向导，选择需要安装的HDFS服务

3.分配角色

4.配置数据库链接

5.配置集群存放目录

（如果你是个老手，应该知道这个步骤顺带是可以配置邮箱信息的，用于CM告警，此处不做配置，后面会单独抽出章节进行配置,需要注意的是/home/yinzhengjie目录服务器的用户家目录，默认权限是700，需要配置为755权限，否则就各种报错你懂的，哈哈哈～）

6.等待安装完成

如果报错有JDK_HOME相关报错，你也可以更换openjdk进行测试，

[root@node102.yinzhengjie.org.cn ~]# yum -y install java-1.8.0-openjdk-devel

7.集群安装完成

安装HDFS后，报了一个隐患： DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of DataNodes is only 4.

这个隐患说的是：使用RS-6-3-1024k编码纠删码策略至少需要9个DataNodes，当前只安装了4个。
但是目前DataNodes已经这么多，不会增加。只能通过修改编码纠删码策略解决。
在网上查了很多资料发现处理起来比较麻烦，索性现在HDFS的配置里找找看看有没有相关的配置
Cloudera Manager主页，进入HDFS界面

选择配置，进入配置界面，在搜索栏搜索RS-6-3-1024k或搜索dfs.namenode.ec.system.default.policy
修改为No Default Erasure Coding Policy，我索性就不要这个什么纠删码

修改保存，重启HDFS，这个隐患消除。
如果一定要用这个纠删码的话，不如把这个隐患屏蔽掉。

8.进入CM管理界面

进行提前的配置修改，如块大小、DataNode存储路径，这里我们将数据存储路径改为/home/dfs/dn，点击继续，进行日志目录的修改，将其全部改为/home/cm目录下（目录空间大小的问题)，点击继续完成HDFS服务的部署。