CM和CDH

最新推荐文章于 2024-06-12 15:24:38 发布

张大仙是个妖怪

最新推荐文章于 2024-06-12 15:24:38 发布

阅读量4.6k

点赞数 3

分类专栏： Hadoop 文章标签：生态系统 cloudera server CM CDH

本文链接：https://blog.csdn.net/NDKHBWH/article/details/72468095

版权

Hadoop 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

一.区分CM和CDH

 
 1.Cloudera Manager包括server端和agent;server端主要作用是监控集群,分发配置集群等,agent端主管集群各节点 

 
 2.CDH是CM的安装包,本地或者云端,其中包括hadoop的生态系统需要的所有组件,通过Cloudera Manager统一管理和安装 

 
 3.CDH除了可以通过cm安装也可以通过yum,tar,rpm安装 

 
 二.安装准备工作 

 
 1.ssh免密码 
  linux服务器之间免密码远程登录 

 
 2.关闭防火墙 

 
 4.安装jdk 

 
 5.ntp时间同步 

 
 6.关闭selinux 

 
 7.安装mysql支持库 

8.安装依赖包 
  
  chkconfig、python (2.6 required for CDH 5)、bind-utils、psmisc、libxslt、zlib、sqlite、 
 
  cyrus-sasl-plain、cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb 
 
  三.上传tar包,并解压(所有机器) 
 
   mkdir /opt/cloudera-manager 
  
   tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager 
  
四.创建用户cloudera-scm(所有机器)

 
  useradd --system --home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM 
  User" cloudera-scm 
 
  五.修改cloudera-scm-agent的配置文件(agent节点的机器:所有都使用主节点server的host名字) 
 
  vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 
 
  # Hostname of the CM server. 
 
  server_host=node1 
 
六.配置cm server数据库(主节点)
   1. 拷贝mysql jar文件到目录 /usr/share/java/; 
 
  注意jar包名称要修改为mysql-connector-java.jar 
 
   2.mysq上创建临时用户 
 
  grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; 
 
   -- 创建cm server需要的数据库支持脚本 
 
  cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/ 
 
   --执行脚本 
 
  ./scm_prepare_database.sh mysql temp -h node1 -uroot -pxxxxxx --scm-host node1 scm scm scm 
 
  格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器 
 
   3. 删除用户 
 
  drop user 'temp'@'%'; 
 
    4.执行成功输出,有log4j:ERROR 因为下的是mini版本 
  
   JAVA_HOME=/usr/java/jdk1.7.0_79...... 
  
   All done, your SCM database is configured correctly!

七.创建Parcel目录:作用服务端创建的配置文件分发到agent端,分发目录

  1.Server节点(服务节点执行) 

 
 mkdir -p /opt/cloudera/parcel-repo 

 
 --授权为创建的账户 

 
 chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo 

  2.Agent节点(agent节点执行) 

 
 mkdir -p /opt/cloudera/parcels 

 
 --授权为创建的账户 

 
 chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 

八.制作CDH本地源 
  1.下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的 
 
  /opt/cloudera/parcel-repo下。 
 
  2.打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的 
 
  parel包名一致，并加上.sha后缀，将hash码复制到文件中保存 
 
  九.启动CM Server、Agent 
 
  cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ 
 
  ./cloudera-scm-server start 
 
  – Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装 
 
  ./cloudera-scm-agent start 
 
  十.验证 
 
   1.查看server日志 
  
   2017-05-15 16:39:55,804 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 
  
2.登录node1:7180 u,p是admin admin,然后就可以安装CDH了 
 
  十一.出现问题 
 
安装时出现配置问题,使用 
   
   执行echo 0 > /proc/sys/vm/swappiness 修改系统配置