大数据平台cloudera manager安装卸载

主节点是 server,其他节点是 agent

1:apache服务器

      sudo rpm -qa|grep http

      sudo service httpd status

      sudo service httpd start

  sudo chkconfig httpd on

访问 : spark1 主机名(先重启再访问),要能访问通

 

2:搭建本地源

    >>软件下载

   >>网站:

http://archive.cloudera.com/cm5/

   >>cm-5.3.6 bin文件

http://archive.cloudera.com/cm5/installer/5.3.6/cloudera-manager-installer.bin

   >>cm-5.3.6 依赖的rpm包

      http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/

  http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/*

   >>依赖其他包

     postgrep-sql

 repo-libs

 

3:下载包

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/ 下的包，

新建目录:

  cd /var/www/html/

   mkdir -p cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/

      mkdir  /var/www/html/cm5/redhat/6/x86_64/cm/5/repodata/

把包移动到 linux目录下 cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/,

把 文件移动到 /var/www/html/cm5/redhat/6/x86_64/cm/5/repodata/下

 

4:创建cloudera-manager.repo

          cd /etc/yum.repos.d/

   touch cloudera-manager.repo

    写入:

[cloudera-manager]

name=Cloudera Manager

baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

gpgkey = http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera

gpgcheck=1

 

5:修改本机域名

 window域名   192.168.1.181 sparkproject1

sparkproject1/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/

 

6:安装

./cloudera-manager-installer.bin

到此，CM安装完成

 

7:安装 CDH

   CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel

  CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1

  manifest.json

把这三个包移动到  /opt/cloudera/parcel-repo 文件夹，修改 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 文件名为

CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

 

然后重启 CM，让他自动去找这个包

  sudo service cloudera-scm-server status

  sudo service cloudera-scm-server start

  sudo service cloudera-scm-server restart

 

 

 

注意: 

  

先下载到 parcel-cache缓存包，再解压到 parcels包里面

 

然后运行 命令:sudo sysctl -w vm.swappiness=0(此时重启就不生效)

设置重启生效:echo "vm.swappiness=0" >> /etc/sysctl.conf

然后在spark2上面也运行 sudo sysctl -w vm.swappiness=0，echo "vm.swappiness=0" >> /etc/sysctl.conf命令

然后 vi /etc/rc.local ，

添加  echo never > /sys/kernel/mm/transparent_hugepage/defrag

 

 

卸载:

1. 关闭集群中的所有服务。
 这个可以通过clouder manger 主页关闭集群。
2. 卸载
[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh 

[root@slave1 ~]# service cloudera-scm-agent stop
[root@slave1 ~]# service cloudera-scm-agent stop

一下都是所有要卸载的集群均要执行清除工作：
[root@master ~]# umount /var/run/cloudera-scm-agent/process
[root@slave1 ~]# umount /var/run/cloudera-scm-agent/process
[root@slave2 ~]# umount /var/run/cloudera-scm-agent/process

[root@master ~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera*  /etc/cloudera* 

3. 卸载安装包：
[root@slave1 ~]# rpm -qa | grep cloudera
[root@slave2 ~]# for f in `rpm -qa | grep cloudera `  ; do rpm -e ${f} ; done     （如果有保存，在执行一遍）

4. 清除安装文件
 rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie  /var/lib/pgsql  /var/lib/sqoop2  /data/dfs/  /data/impala/ /data/yarn/  /dfs/ /impala/ /yarn/  /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog 

//只删除hadoop系列的，不要删除其他软件的，否则其他软件的版本控制会被破坏
[root@master alternatives]# rm -rf ` find /var/lib/alternatives/* ! -name "mta" ! -name "print" ! -name "zlibrary-ui"  -mtime -3` 
[root@master alternatives]# rm -rf /etc/alternatives/* 

5. 杀死相关进程：
for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done

6. 删除parcel包分发文件和解压文件
  rm -rf /opt/cloudera/parcel-cache /opt/cloudera/parcels

到此卸载完毕。