随笔记录

 

1.关闭防火墙

systemctl stop firewalld.service 关闭
systemctl disable firewalld.service 禁用

2.关闭SELINUX

2.1 零时关闭（ 不建议使用）

[root@fan102 ~]# setenforce 0

但是这种方式只对当次启动有效，重启机器后会失效。

2.2 永久关闭（ 建议 使用）

2.2.1 修改配置文件/etc/selinux/config

[root@fan102 ~]# vim /etc/selinux/config
将SELINUX=enforcing 改为SELINUX=disabled
SELINUX=disabled

2.2.2 同步/etc/selinux/config配置文件

[root@fan102 ~]# xsync /etc/selinux/config

2.2.3 重启fan102、fan103、fan104主机

[root@fan102 ~]# reboot
[root@fan102 ~]# reboot
[root@fan102 ~]# reboot

3.配置NTP时钟同步

3.1 主节点配置

[root@fan102 ~]# vi /etc/ntp.conf

注释掉所有的restrict开头的配置
修改#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
为restrict 192.168.1.102 mask 255.255.255.0 nomodify notrap
将所有server配置进行注释
添加下面两行内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10

3.2 启动NTP服务 service ntpd start

[root@fan102 ~]# service ntpd start

3.3 NTP客户端配置（在agent主机上进行配置fan103,fan104）

[root@fan103 ~]# vi /etc/ntp.conf
注释所有restrict和server配置
添加server 192.168.1.102

3.5 手动测试

[root@fan103~]# ntpdate 192.168.1.102
显示如下内容为成功：
17 Jun 15:34:38 ntpdate[9247]: step time server 192.168.1.102 offset 77556618.173854 sec
如果显示如下内容需要先关闭ntpd：
17 Jun 15:25:42 ntpdate[8885]: the NTP socket is in use, exiting

3.6 启动ntpd并设置为开机自启（每个节点fan102，fan103，fan104）

[root@fan103 ~]#  chkconfig ntpd on
[root@fan103 ~]#  service ntpd start

3.7 使用群发date命令查看结果

 

CM安装部署

1.安装JDK（三台）

1.1 在fan102创建 /usr/java目录

[root@fan102 opt]# mkdir /usr/java

1.2 将jdk-8u144-linux-x64.tar.gz上传至fan102，并解压到/usr/java目录下。

[root@fan102 ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/

1.3 配置JAVA_HOME环境变量

1.3.1 打开/etc/profile文件

[root@fan102 software]# vim /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

1.3.2 让修改后的文件生效

[root@fan102 jdk1.8.0_144]# source /etc/profile

1.4 测试JDK是否安装成功

[root@fan102 ~]# java -version
java version "1.8.0_144"

1.5 将fan102中的JDK和环境变量分发到fan103、fan104两台主机

[root@fan102 opt]# xsync /usr/java/
[root@fan102 opt]# xsync /etc/profile

1.6 分别在fan103、fan104上source一下

[root@fan103 ~]# source /etc/profile
[root@fan104 ~]# source /etc/profile

2. 安装MySQL及其驱动（主节点上操作） 

2.1 卸载mariadb

[root@fan102 ~]# rpm -qa | grep mariadb | xargs rpm -e --nodeps

2.2 下载msql5.7 yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

2.3 安装yum源

[root@fan102 ~]# rpm -ivh mysql57-community-release-el7-9.noarch.rpm

2.4 安装mysql

[root@fan102 ~]# yum -y install mysql-server

2.5 启动mysql

[root@fan102 ~]# service mysqld start

2.6 查看root用户密码

[root@fan102 ~]# grep 'temporary password' /var/log/mysqld.log

2.7执行mysql初始化脚本

[root@fan102 ~]# mysql_secure_installation

2.8 输入新密码（至少12个字符，至少包含一个大写字母有，一个小写字母，一个数字，一个特殊字符）

 

2.9配置root用户远程访问权限

mysql> grant all privileges on *.* to 'root' @'%' identified by 'Atguigu.123456';
mysql> flush privileges;

2.10 为CM安装mysql驱动

2.10.1 将mysql-connector-java-5.1.27-bin.jar拷贝到 / usr/share/java路径下，并 重命名

[root@fan102 java]# mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

2.10.2 分发驱动

[root@fan102 java]# xsync /usr/share/java

 

 

3. 正式安装

3.1 下载依赖（所有节点）

[root@fan102 ~]# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

3.2 创建software 文件，并上传cm6.3.0-redhat7.tar.gz到该文件下

[root@fan102 ~]# mkdir -p /opt/software
[root@fan102 ~]# mkdir -p /var/www/html/cm
[root@fan102 ~]# tar -zxvf /opt/software/cm6.3.0-redhat7.tar.gz -C /var/www/html/cm

3.3 创建 CHD文件，并上传 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel manifest.json

[root@fan102 ~]# mkdir -p /var/www/html/cm/cdh6.3.2/parcels/CDH

3.4 修改cloudera-manager.repo

[root@fan102 ~]# vim /etc/yum.repos.d/cloudera-manager.repo

以下为文本内容
[cloudera-manager]
name=cloudera-manager
baseurl=http://node1:8900/cm/cm6.3.0
enabled=1
gpgcheck=0

3.5 分发

[root@fan102 ~]# xsync /etc/yum.repos.d/cloudera-manager.repo

3.6 利用python2后台启动http服务器

[root@fan102 ~]# cd /var/www/html/
[root@fan102 html]# nohup python -m SimpleHTTPServer 8900 >/dev/null 2>&1 &

3.7 主节点安装

[root@fan102 ~]# yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

3.8 其他节点安装

[root@fan103 ~]# yum -y install cloudera-manager-agent cloudera-manager-daemons

3.9 修改config.ini文件

[root@fan102 ~]# vim /etc/cloudera-scm-agent/config.ini
server_host=fan102

 

*****************创建相关数据库*******************

4. 在MySQL中建库

4.1 创建各组件需要的数据库

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

4.2 为CM配置数据库（自带脚本）

[root@fan102 ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root 123123

4.4 启动CM服务

[root@fan102 ~]# systemctl start cloudera-scm-server
[root@fan102 ~]# xcall.sh systemctl start cloudera-scm-agent

4.5 关闭CM服务

[root@fan102 ~]# systemctl stop cloudera-scm-server
[root@fan102 ~]# xcall.sh systemctl stop cloudera-scm-agent

4.6 查看日志

[root@fan102 ~]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

5.CDH的安装

在CM提供的平台安装即可，此处步骤省略…...

如疑惑，可加楼主QQ探讨

 

 

6.其他

服务脚本说明

nohup python -m SimpleHTTPServer 8900 >/dev/null 2>&1 &
nohup
加在一个命令的最前面，表示不挂断的运行命令
&
加载一个命令的最后面，表示这个命令放在后台执行

 

文章有用的话，请点赞+关注，您的鼓励是我最大的动力，更多好帖敬请期待，加油🆙

+++++++++++++++++++++++++++++++++++++++++
+         如有问题可+Q：1602701980 共同探讨           +
+++++++++++++++++++++++++++++++++++++++++