cloudera：CM使用笔记

为什么80%的码农都做不了架构师？>>>   

1.cloudera manager软件安装目录是在/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib中，其余的配置，命令其实都是来自这里和在这里生效的。

2.cloudera manager配置分发就是把新配置发送到/etc/alternatives/hadoop中和/etc/hadoop中，然后各个服务再使用此配置。

3.cloudera manager各个服务的命令来自/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib中各个服务，有一部分命令发布到/usr下了。只不过是软链接到各个服务的bin下面的命令罢了。

4.cloudera manager官方的中文文档：Cloudera 简介

5.cloudera manager的spark服务器安装成功，但是启动spark shell时报错：SparkDeploySchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED。这是因为多次为集群添加spark服务时，需要将spark的目录清理干净，因为我没有清理/var/run/spark/work，这个目录可能前几次添加失败时，导致这个目录的所有者不是spark，所以spark无法往这里写入内容，所以需要先删除此目录。

6.安装完了各种服务之后，需要将各个服务角色的内存调整一下，cloudera manager默认调整的不是很好。

7.如果要删除cloudera manager或者他们的服务，一定要去下面几个目录找到对应的服务，并且删除。运行的动态文件：/var/lib，运行产生的日志：var/log，运行命令和配置：/etc，如果要卸载cm，还需删除/opt目录下的包。删除/etc/passwd中的用户。

8.刚建立的hdfs集群，只有tmp,user目录是别的用户有权限的，如果有别的用户需要使用hdfs集群，需要先用hdfs用户新建目录，然后把目录的owner赋给需要的用户。

9.cm中各组件有很多配置是cm中没有列出来的，但是我们却要用，只能找到配置中自定义配置的地方，比如说hive的hive.exec.stagingdir配置，需要找到hive的配置，选择高级，然后在Hive 客户端高级配置代码段（安全阀）这里写上自定义的配置（不能在别的地方写，因为这个配置是在hive的客户端配置的，所以必须写到客户端的自定义配置），参考：hive产生很多.staging_hive文件，别的组件想要自定义的配置，也是这个思路。

转载于:https://my.oschina.net/cjun/blog/698515