cdh安装

1. 准备服务器

• 机器要求(8g+ , 4core)

• 安装centeros 原生minal版本操作系统

• 开启网络和开机自启(因为minal版的操作系统网卡开机不是自动启动的)

• 安装常用软件

  yum -y install gcc  gcc-c++  vim  wget  openssh-clients   ntp   lsof
  

• 克隆机器

  cdh-server  cdh01  cdh02  ch03  cdh04  cdh05
  

• 免密码登录

  cdh-server(10.10.10.200)----免密登录---->cdh-server(10.10.10.200)
  cdh-server(10.10.10.200)----免密登录---->cdh01(10.10.10.201)
  cdh-server(10.10.10.200)----免密登录---->cdh02(10.10.10.202)
  cdh-server(10.10.10.200)----免密登录---->cdh03(10.10.10.203)
  cdh-server(10.10.10.200)----免密登录---->cdh04(10.10.10.204)
  cdh-server(10.10.10.200)----免密登录---->cdh05(10.10.10.205)
  

2. cdh集群搭建的准备工作

• 准备6个机器

  cdh-server   6gb内存  30gb硬盘   4核
  cdh01    6gb内存  30gb硬盘   4核
  cdh02    6gb内存  30gb硬盘   4核
  cdh03    6gb内存  30gb硬盘   4核
  cdh04    6gb内存  30gb硬盘   4核
  cdh05    6gb内存  30gb硬盘   4核
  

• 关闭防火墙和开机自启(所有机器都要做)

  service iptables stop
  chkconfig  iptables  off	
  

• 开启时间同步服务器(所有机器都要做)

  service ntpd start
  chkconfig ntpd on
  

• 关闭linux的selinux服务(所有机器都要做)

  vim  /etc/selinux/config
  	#SELINUX=enforcing	
  	SELINUX=disabled
  

• 安装jdk(所有机器都要做)

  ​ …

• 安装mysql数据库(任意一个机器即可)

  1>安装数据库
  	yum -y install mysql-server
  
  2>启动数据库服务
  	service mysqld start
  
  3>设置开机自启		
  	chkconfig mysqld on
  
  4>登录到mysql
  	mysql -uroot -p
  
  5>设置mysql的密码			
  	set password=password('root');
  
  6>刷新权限		
  	flush privileges	
  
  7>开启远程登录的权限
  	use mysql;
  	delete from user where password='';
  	update user set host='%' where user='root';
  	flush privileges
  

• 设置/proc/sys/vm/swappiness为0。(所有机器都做)

  因为CDH运行需要消耗大量的内存，默认值为60，也就是说当内存使用到100-60=40%的时候，就开始出现有交换分区的使用。
  大家知道，内存的速度会比磁盘快很多，这样子会加大系统io，同时造的成大量页的换进换出，严重影响系统的性能，所以我们在操作系统层面，
  		要尽可能使用内存，对该参数进行调整。
  			调整：
  				vim /etc/sysctl.conf
  				添加内容
  					vm.swappiness=0
  				重启可以生效，当然也可以激活：
  					sysctl -p
  

• 关闭THP(所有机器都做)

  echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
  echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
  echo never > /sys/kernel/mm/transparent_hugepage/defrag
  

3. 安装cloudera manager(cm)

• 准备cm的安装包

  [root@cdh-server opt]
  	cloudera-manager-el6-cm5.6.1_x86_64.tar.gz
  

• 解压clouder-manager(cm)

  [root@cdh-server opt]
  	tar -zxvf cloudera-manager-el6-cm5.6.1_x86_64.tar.gz  -C /opt/
  

• 修改agent配置文件

  vim /opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini
  	
  		server_host=cdh-server
  

• 拷贝mysql驱动

  [root@cdh-server opt]
  	将mysql的驱动jar包拷贝到/opt/cm-5.6.1/share/cmf/lib/ 中做CM初始化元数据库使用
  

• 初始化cm元数据库

  [root@cdh-server opt]
  	/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot  -hcdh05  -P3306 --scm-host cdh-server scm scm scm
  

• 把cdh-server上的cm安装目录拷贝到其他机器

  [root@cdh-server opt]
      scp -r /opt/cm-5.6.1 root@cdh01:/opt/
      scp -r /opt/cm-5.6.1 root@cdh02:/opt/
      scp -r /opt/cm-5.6.1 root@cdh03:/opt/
      scp -r /opt/cm-5.6.1 root@cdh04:/opt/
      scp -r /opt/cm-5.6.1 root@cdh05:/opt/
  

• 在所有节点创建cloudera-scm用户

  useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  

• 配置环境变量(所有机器都要做)

  export PATH=$PATH:/opt/cm-5.6.1/etc/init.d
  
  #使环境变量生效
  source /etc/profile.d/cdh-env.sh
  

• 启动相应的服务

  cdh-uplooking-server   ===>clouder-scm-server start
  cdh-uplooking01   ===>clouder-scm-agent start
  cdh-uplooking02   ===>clouder-scm-agent start
  cdh-uplooking03   ===>clouder-scm-agent  start
  cdh-uplooking04   ===>clouder-scm-agent start
  cdh-uplooking05   ===>clouder-scm-agent start
  

• 端口使用情况

  webui的端口为:cdh-server的7180
  内部通信的端口为: cdh-server的7182
  

• 通过webui可以访问我们的cm

  cdh-server:7180
  #只要能进入登录界面就好 先不要开始安装
  

4. 开始安装cdh集群

• 准备cdh安装包

  [root@cdh-server parcel-repo]	
  	将CDH5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo目录不存在的话需要手动创建）
  
  cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
  cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha
  cp /soft/manifest.json /opt/cloudera/parcel-repo/
  
  #注意，在/opt/cloudera/parcel-repo/目录下一定要.sha1后缀名改为.sha，不然系统不识别离线安装包，还会从网络中下载
  

• 开始安装

  http://cdh-server:7180
  

• http://note.youdao.com/noteshare?id=c3cc7deaa1d6f82f4f2b35977fe7f936&sub=WEB4579439ed94faa23b0094188a8d6e43a