Ubuntu18.04LTS搭建CDH6.3.0环境-版本二

CM在线安装版本 
	注意事项
		0.最好是干净的环境
		1.root身份 
		2.建议主server在线安装 下载好资源后(默认下载到的位置/var/cache/apt/archives) 其他节点直接发过去安装包.deb 然后进行本地安装 dpek --install xxx.deb
		4.sudo apt-get install openjdk-8-jdk(server节点被这个替换了 不然总是提示找不打java)
		3.mysql-connector-java-8.20.jar
			最好root身份且实现root身份的ssh 
				/etc/ssh/sshd_config 进行如下配置 否则CDH安装时会报问题
				UsePrivilegeSeparation no
				PermitRootLogin yes
				PasswordAuthentication yes
		5.关闭防火墙 
		6.关闭selinux(可选)
		7.启动Httpd服务(可选)
		8.jdk安装 jdk-1.8.0_201 (建议采用 sudo apt-get install openjdk-8-jdk)
		9.每个节点实现时区修改和更新 同时mysql中也要进行时区设置 参看下面的“安装遇到问题集锦 1”
		10.实现集群的时间同步(机器联网状态可以不做)
		11.相关离线资源(也是在线安装时的自动下载资源地方)参考地址
				https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/
				https://archive.cloudera.com/cdh6/
	1.集群每个节点执行 (执行前去https://archive.cloudera.com/ 看看最近的版本 确定版本号 此处采用的是6.3.0)
		wget https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/archive.key
		sudo apt-key add archive.key
		wget https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/cloudera-manager.list
		sudo mv cloudera-manager.list /etc/apt/sources.list.d/
		#更新软件清单
		sudo apt-get update
		**切记版本号集群统一，别弄错了

2.server主节点java-connector-java.jar 
	下载地址https://mvnrepository.com/artifact/mysql/mysql-connector-java
	root@s100:~#  mkdir -p /usr/share/java
	root@s100:~#  cp mysql-connector-java-8.0.20.jar  /usr/share/java/mysql-connector-java.jar


3、集群每个节点部署JDK 三种方式
	3.1 当前terminal窗口生效
		root@s100:~#  mkdir /usr/java
		root@s100:~#  tar -zxf cdh/jdk-8u191-linux-x64.tar.gz -C /usr/java/
		root@s100:~#  chown -R root:root /usr/java/jdk1.8.0_191
		root@s100:~#  echo "export JAVA_HOME=/usr/java/jdk1.8.0_191" >> /etc/profile
		root@s100:~#  echo "export PATH=/usr/java/jdk1.8.0_191/bin:${PATH}" >> /etc/profile 
		root@s100:~#  source /etc/profile
		root@s100:~# which java
		/usr/java/jdk1.8.0_191/bin/java

		[root@node06 ~]# java -version
		java version "1.8.0_191"
		Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
		Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

		或者 
		安装位置为/home/fgq/soft/jdk  
		root@s102:/home/fgq# echo "export JAVA_HOME=/home/fgq/soft/jdk" >> /etc/profile
		root@s102:/home/fgq# echo "export PATH=/home/fgq/soft/jdk/bin:${PATH}" >> /etc/profile
		root@s102:/home/fgq# source /etc/profile
	3.2 或 永久生效
		root身份下的
		.bashrc
		export JAVA_HOME=/home/fgq/soft/jdk	
		export PATH=${JAVA_HOME}/bin:$PATH
	3.3 或 推荐此法
		sudo apt-get install openjdk-8-jdk

4.因为我的是fgq用户 所以切换成root进行相关操作 ubuntu切换用户root时认证失败   
	如果使用root远程登陆，在安装完之后需要使用passwd root来重置root密码。 否则在远程登陆时会提示没有权限。
	ubuntu一开始并没有给root分配密码，所以切换到root超级用户，输入任何密码都会认证失败。
	只要在命令行中输入sudo passwd，输入新的密码就ok了。如下：
	fgq@s100: sudo passwd
	 
	输入新的UNIX密码：
	重新输入新的UNIX密码：
	fgq@s100: su root
	密码：
	fgq@s100:~$ shutdown -h now（关机命令）

5.安装mysql创建数据库 scm、hue、hive...
	配置MySQL 安装完毕后 有一点需要配置
		修改/etc/mysql/mysql.conf.d/mysqld.cnf
		#bind-address           = 127.0.0.1
		使其可远程访问

6.在线在server主节点安装cloudera （机器太少所以也安装一个ageng节点）
	sudo apt-get install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

	cloudera安装过后的位置和目录如下
	fgq@s100:/opt/cloudera$ ls -l
	total 16
	drwxr-xr-x 27 root         root         4096 Jul 28 19:24 cm
	drwxr-xr-x 10 root         root         4096 Jul 28 04:07 cm-agent
	drwxr-xr-x  2 cloudera-scm cloudera-scm 4096 Mar 12 10:07 csd
	drwxr-xr-x  2 cloudera-scm cloudera-scm 4096 Jul 28 00:42 parcel-repo

	注意.ubuntu中一般来说apt-get安装与默认路径 
		一、apt-get 安装（ubuntu使用apt如果是centos则使用yum安装方式）
			deb是debian linus的安装格式，跟red hat的rpm非常相似，最基本的安装命令是：dpkg -i file.deb或者直接双击此文件
			dpkg 是Debian Package的简写，是为Debian 专门开发的套件管理系统，方便软件的安装、更新及移除。所有源自Debian的Linux发行版都使用dpkg，例如Ubuntu、Knoppix 等。
			以下是一些 Dpkg 的普通用法：
				1、dpkg -i
						安装一个 Debian 软件包，如你手动下载的文件。
				2、dpkg -c
						列出 的内容。
				3、dpkg -I
					   从 中提取包裹信息。
				4、dpkg -r
						移除一个已安装的包裹。
				5、dpkg -P
					  完全清除一个已安装的包裹。和 remove 不同的是，remove 只是删掉数据和可执行文件，purge 另外还删除所有的配制文件。
				6、dpkg -L
					  列出 安装的所有文件清单。同时请看 dpkg -c 来检查一个 .deb 文件的内容。
				7、dpkg -s
					  显示已安装包裹的信息。同时请看 apt-cache 显示 Debian 存档中的包裹信息，以及 dpkg -I 来显示从一个 .deb 文件中提取的包裹信息。
				8、dpkg-reconfigure
					  重新配制一个已经安装的包裹，如果它使用的是 debconf (debconf 为包裹安装提供了一个统一的配制界面)。
		
		二、软件安装后相关文件位置
			 1.下载的软件存放位置 apt通过apt源配置路径进行资源下载存放地方
			   /var/cache/apt/archives
			 2.安装后软件默认位置 安装地方
			 /usr/share
			 3.可执行文件位置
			 /usr/bin
			 4.配置文件位置
			  /etc
			 5.lib文件位置
			/usr/lib
7.每个agent节点 安装agent （daemons）
	root@s101:~# apt-get install cloudera-manager-daemons cloudera-manager-agent
8.给cm指定各个管理库的信息(之前mysql中都已经创建好了的)
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql amon amon amon123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql rman rman rman123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql hue hue hue123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql hive hive hive123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql sentry sentry sentry123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql nav nav nav123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql navms navms navms123456
	sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql oozie oozie oozie123456
	#/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -hs100 -uroot -p123456 --scm-host s100 scm scm scm123456

#9.修改每个agent节点的CM主机地址   暂时不需要做呢
#	sudo vim /etc/cloudera-scm-agent/config.ini
#	# 将server_host修改为CM-Server所在的主机名
#	server_host=s100

10.启动
	#启动cloudera-scm-server
	systemctl start cloudera-scm-server
	systemctl stop cloudera-scm-server
	systemctl status cloudera-scm-server
	
	root@s100:~# systemctl start cloudera-scm-server
	root@s100:~# systemctl status cloudera-scm-server
				● cloudera-scm-server.service - Cloudera CM Server Service
				   Loaded: loaded (/lib/systemd/system/cloudera-scm-server.service; enabled; ven
				   Active: active (running) since Thu 2020-07-30 10:13:24 CST; 7min ago
				 Main PID: 20322 (java)
					Tasks: 92 (limit: 5863)
				   CGroup: /system.slice/cloudera-scm-server.service
						   └─20322 /usr/lib/jvm/java-1.8.0-openjdk-amd64/bin/java -cp .:/usr/sha

				Jul 30 10:13:24 s100 systemd[1]: Started Cloudera CM Server Service.
				Jul 30 10:13:24 s100 cm-server[20322]: JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
				Jul 30 10:13:24 s100 cm-server[20322]: OpenJDK 64-Bit Server VM warning: ignorin
				Jul 30 10:13:26 s100 cm-server[20322]: ERROR StatusLogger No log4j2 configuratio
				Jul 30 10:13:28 s100 cm-server[20322]: Loading class `com.mysql.jdbc.Driver'. Th
				lines 1-13/13 (END)

	#查看启动日志，等待Jetty启动完成
	sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log	
	
	root@s100:~# jps
	20322 Main   -----Main即为cloudera-scm-server进程
	21309 Jps

11.浏览器访问
	http://s100:7180
	用户名：admin
	密码：admin
	7180： Cloudera Manager WebUI端口
	7182： Cloudera Manager Server 与 Agent 通讯端口   /etc/cloudera-scm-agent/config.ini
	
#12.所要agent节点开启agent服务
#	root@s101:~# systemctl start cloudera-scm-agent
#	root@s101:~# systemctl status cloudera-scm-agent
#	
#	root@s101:~# systemctl stop cloudera-scm-agent

13.此时server开启了然后就可以通过浏览器http://s100:7180 
	用户/密码：admin/admin
	按照向导搭建集群。
	根据向导进行安装，切记在选择Specify Hosts那一步时要讲所有集群机器都选上
	问题集锦
		 1.Exhausted available authentication methods
			要求Enter Login Credentials 这一步设置的账号 root 密码 123456 跟ubuntu root用户信息一致
		 2./tmp/scm_prepare_node.Fuo0YSZeCould not verify key bundle 
		   Cloudera Manager的 Specify Hosts 出现了错误 应当选择所要集群的机器 包括server和所有agent
		 3.注意因为是在线安装的 所要 Cloudera Manager的parcels已经提前下载好了...按照提示进行下去就好
		 4.认真看每一步的要求 进行下去
		 
		 集群起名为cluster 1
		 ssh连接用户 root 密码 123456
		
安装遇到问题集锦		
	1：cloudera manager The server time zone value 'PDT' is unrecognized or represents more than one time zone. 
		You must configure either the server or JDBC driver (via the 'serverTimezone' configuration property) 
		to use a more specifc time zone value if you wan
		The server time zone value 'PDT' is unrecognized or represents more than one time zone数据库链接错误
		因为系统做了Ubuntu修改时区和更新时间
			zhengchaooo 2018-03-09 17:05:03 140291 收藏 55
			分类专栏： Ubuntu
			版权
			先查看当前系统时间

		root@ubuntu:/# date -R   

		结果时区是：-0500
		我需要的是东八区，这儿显示不是，所以需要设置一个时区

		1.运行tzselect

		root@ubuntu:/# tzselect

		在这里我们选择亚洲 Asia，确认之后选择中国（China)，最后选择北京(Beijing)

		2.复制文件到/etc目录下

		root@ubuntu:/# cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

		3.再次查看时间date -R，已经修改为北京时间
	而mysql并没有做时区同步更新
		步骤1 进入数据库
		步骤2 数据库中键入show variables like ‘%time_zone%’;
		步骤3 继续键入select now();
		由于我的ubuntu系统的默认时区是PDT，改成了CST后出现了这个问题
		键入：set global time_zone=’+8:00’;改成中国时区
		键入：flush privileges;刷新一次数据库，重启也可以成功
		成功
		或者添加默认系统时间
		set time_zone=SYSTEM;
		刷新后查看一下数据库是否能够成功登入
2：ubuntu各个版本的代号	
	Ubuntu 14.04 (LTS)代号为trusty
	Ubuntu 15.04 代号为vivid
	Ubuntu 15.10 代号为wily
	Ubuntu 16.04 (LTS)代号为xenial
	Ubuntu 18.04 (LTS)代号为bionic
3.手动安装(离线安装) 不建议 会缺失很多依赖(需要apt --fix-broken install联网进行补全依赖)
	1.root身份
	2.与上面唯一不同的就是 apt-get install ... 改成了 dpkg --install xxx.deb
		问题：下载好的.deb文件在使用dpkg --install xxx.deb安装时会提示依赖缺失和apt --fix-broken install的错误
		解决：删除失败的安装目录（/opt/cloudera/cm-agent）
			  运行apt --fix-broken install 进行安装缺失内容的包
			  参考https://blog.csdn.net/zhouzhiyao960211/article/details/89716036
4.
	数据库配置：/etc/cloudera-scm-server/db.properties
	日志： /var/log/cloudera-scm-agent/ 和 /var/log/cloudera-scm-server/		  
5.systemctl status cloudera-scm-server 查看状态 为失败
	jdk不匹配
	#安装jdk8
	sudo apt-get install openjdk-8-jdk