集群迁移采坑记

1.Clouder Manager 集群迁移
迁徙前先停止服务，停止顺序如下：
先在界面上停止CM以及各个组件的服务
停止CM

停止Hadoop组件服务

停止机器上的cloudera-scm-server/db/agent service
先停止cloudera-scm-server 上的服务
service cloudera-scm-sever-db stop
sevice cloudera-scm-server stop
service cloudera-scm-agent stop

停止每台client机器的Cloudera-scm-agent service
service cloudera-scm-agent stop
2.完成集群迁移，启动服务
首先修改/etc/hosts和hostname(每台机器都要修改)
修改hosts vim /etc/hosts
10.50.15.1 CM01
10.50.15.2 CM02
10.50.15.3 CM03
10.50.15.4 CM04
10.50.15.5 CM05

    修改hostname   vim /etc/sysconfig/network
HOSTNAME=CM04

修改每台cloudera-scm-agent的配置
配置文件在/etc/cloudera-scm-agent下，修改该目录下的config.ini
vim config.ini
修改server_host=10.50.15.2
启动服务
先启动Cloudera manager server 的上面的服务
service cloudera-scm-server-db start
service cloudera-scm-server start
service cloudera-scm-agent start
启动每台机器的agent服务
service cloudera-scm-agent start
启动以后登陆10.50.15.2:7180端口即可
TIPS：cloudera-scm-server 在启动的时候会报Scmactive 初始化异常
修改 server 机器上的/etc/default/cloudera-scm-server,修改
export CMF_JAVA_OPTS="-Xmx2G -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp -Dcom.cloudera.server.cmf.components.scmActive.killOnError=false”
原来的默认配置是：
export CMF_JAVA_OPTS="-Xmx2G -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp”

Hive的元数据修改
集群迁移完成以后，hdfs的namespace发生了改变，导致hive无法正常访问，需要修改hive的元数据更改hive的数据存放路径
进入hive的mysql元数据库
use hive ;
UPDATE DBS SET DB_LOCATION_URI=REPLACE (DB_LOCATION_URI,‘cm01:8020’,'sermirdatacenter’);
UPDATE SDS SET LOCATION=REPLACE (LOCATION,‘cm01:8020’,‘sermirdatacenter’);
执行这两条命令即可

2.添加机器
新机器安装JDK
卸载自带的JDK
rpm -qa |grep java
yum remove java*
安装CDH所需要的Java，可以从其他机器拷贝过去
yum 安装Cloudera-manager 服务
配置cloudera-manager.repo,把其他机器/etc/yum.repos.d/cloudera-manager.repo拷贝到本地的/etc/yum.repos.d目录下
把其他机器的rpm安装包拷贝到本地 scp -R /home/hadoop/rpms/* root@CM04/05:/rpms
安装rpm包 yum -y install *.rpm
修改/etc/cloudera-scm-agent/config.ini 修改server_host=10.50.15.2
启动agent service cloudera-scm-agent start
CM 界面添加服务

点击继续

一步一步执行结束就可以

TIPS：新添加机器无法安装Resourcemanager和Nodemanager
报错信息

如何解决：修改新添加机器里面/tmp文件夹的权限，最好给777，因为在安装yarn服务的时候会在这个文件夹进行初始化安装，权限问题导致的无法安装服务

安装CM服务报错，无法安装CM的RPM安装包

解决方法：rpm -ivh --force *.rpm，强制重新安装原来的RPM包程序进行覆盖

rpm -ivh --force *.rpm
HA宕机，导致两台NN无法启动终极解决方案
发生现象：

具体描述：因为集群服务被删除，导致NN配置紊乱，不得已只能重新安装服务，如何保证服务安装完成以后数据不丢失，可以完成恢复这是个棘手的问题
解决思路：重新安装服务，在安装HDFS的时候指定原来的DFS安装目录即可，但是在服务启动的时候在初始化format的时候启动失败，这时候不用管，返回主界面，在进行HDFS的服务启动，这时候会报错There appears to be a gap in the edit log. We expected txid 1, but got txid 去安装NN那台机器执行hadoop namenode -recover，进行NN的元数据修复，修复之后就可以正常启动，继续安装其他服务即可。
TIPS：在重新安装服务前，需要记住原先每台机器安装的服务以及安装路径，最好拍个照，之后按照原先的路径进行还原
参考链接：
http://blog.csdn.net/zhanggaokai/article/details/72900225
https://www.cnblogs.com/jechedo/p/5922901.html

如何暴力卸载节点，重新安装服务
首先删除节点，进行卸载：
进入CM点击主机，点选你需要删除的主机

操作完成以后登陆这台删除的机器，进行安装文件的卸载。
卸载步骤：
1.卸载前先备份好之前下载的RPM包和parcels包
2.停止service service cloudera-scm-agent stop
3.暴力停止service，杀进程【run2 times】
kill -9 $(pgrep -f cloudera-scm)
kill -9 $(pgrep -f supervisord)
ps -ef|grep cloudera-scm
ps -ef|grep supervisord
4.卸载/var/run/cloudera-scm-agent/process
rpm -qa | grep cloudera
for f in rpm -qa | grep cloudera;do
rpm -e --nodeps ${f} ;
done
rpm -qa | grep cloudera

5.删除Cloudera Manager数据，数据库存放路径，Cloudera Manager Lock文件，用户数据，清除安装文件
rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*
/var/log/cloudera*/var/run/cloudera*
rm -rf /var/lib/cloudera-scm-server-db
rm -rf /tmp/.scm_prepare_node.lock /tmp/hsperfdata_hadoop
/tmp/hsperfdata_hdfs/tmp/hsperfdata_mapred /tmp/hsperfdata_zookeeper
/tmp/hsperfdata_cloudera-scm /tmp/hadoop-root
rm -rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie
/var/lib/solr/var/lib/sqoop* /var/lib/zookeeper
rm -rf /dfs /mapred /yarn
rm -rf /etc/cloudera*
rm -rf /var/cache/yum/x86_64/6/cloudera*
rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue
/var/lib/oozie/var/lib/pgsql
rm -rf /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/
rm -rf /var/run/hadoop-/ /var/run/hdfs-/ /usr/bin/hadoop* /usr/bin/zookeeper*
/usr/bin/hbaserm -rf /usr/bin/hive /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn
/usr/bin/sqoop* /usr/bin/oozierm -rf /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie/etc/hbase* /etc/hcatalog
rm -rf /var/run/zookeeper
rm -rf /tmp/scm_prepare_node* /tmp/.scm_prepare_node.lock
6.删除parcel包分发文件和解压文件
rm -rf /opt/cloudera
rm -rf /tmp/A* /tmp/cmf* /tmp/J* /tmp/jffi* /tmp/q* /tmp/scm*
7.执行失效软连接
ls -l /etc/alternatives | grep -E ‘CDH|cloudera’ | awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 9}̲' | while read …line ; done
至此卸载完毕
配置Hadoop配置压缩
core-site.xml

io.compression.codecs

org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,

mapred-site.xml

mapreduce.output.fileoutputformat.compress
true

mapreduce.output.fileoutputformat.compress.codec org.apache.hadoop.io.compress.BZip2Codec 作业输出 

Hive 开启CBO跟向量化，启动fetch查询