CDH生产实践

• 正常的启动、关闭流程

  启动顺序：
  mysql: su - mysqladmin，service mysql start
  server机器:service cloudera-scm-server start
  三台:service cloudera-scm-agent start

  cluster1 stop
  
  Cloudera Management Service stop
  
  三台:service cloudera-scm-agent stop
  server机器: service cloudera-scm-server stop
  mysql: su - mysqladmin，service mysql stop

  首页 图标不出现
  1.等待1~2min 刷新浏览器
  2.重启cms

  看到 HDFS Canary Bad代表金丝雀，不用管
  
  看到灰色图标，表示这个进程只有启动的时候才好用，而不是挂掉了
  
  如果想在其他机器上去运行类似与hdfs dfs这种命令，需要在相应的机器节点安装Gateway这个进程才可以

  instance role 进程 代表同一个东西

  cdh修改配置必须在web界面修改，如果修改xml文件，是不会生效的，进程的配置文件路径:是会变化的 /var/run/cloudera-scm-agent/process/91-hdfs-DATANODE

  客户端配置:
  路径不会变化:
  /etc/hadoop/conf

  
  
  select dfs_capacity, dfs_capacity_used, dfs_capacity_used_non_hdfs where entityName="hdfs"利用这种方式去构造chart图，注意里面不需要from，如果以后生产中有需要的话，可以点击右上角的帮助问号

  api操作
  直接命令行输入:
  curl -u “admin:admin” http://39.104.51.30:7180/api/version
  /clusters/{clusterName}/hosts
  curl -X GET -u “admin:admin” http://39.104.51.30:7180/api/v17/clusters

  动态资源池
  
  常用的配置选项
  
  动态资源池: 池的划分规则 和 放置规则
  按项目: p1 p2 p3
  按项目的开发 测试 生产
  dev qa pro

  1.hdfs–> --queue + default
  2.不准hdfs用户，按用户组资源池提交 ，创建用户组的放置规则
  devgroup
  progroup
  qagroup
  bigroup

• 自定义安装kafka
  kafka官网安装地址
  
  点击cloudera manager的hosts下面的parcel，上图中地址为kafka的parcel的包下载地址
  将三个文件放到/var/www/html/下创建kafka_parcel目录下,上面路径换成包含内网的路径http://172.24.20.227/kafka_parcels/

  cloudera的家目录在/op/cloudera/parcels下面