大数据之CDH集群搭建

大数据之CDH集群搭建

注意：全程在root用户下执行，其他用户可能出现权限问题导致安装失败或启动失败

一、配置主机名（每台都要做）

vi /etc/sysconfig/network

二、配置主机地址（每台都要做）

vi /etc/hosts

三、配置IP（每台都要做）

vi /etc/udev/rules.d/70-persistent-net.rules	//把第一个配置去掉，拷贝第二个地址，然后把最后的eth1改为eth0
vi /etc/sysconfig/network-scripts/ifcfg-eth0	

四、关闭防火墙（每台都要做）

1. 临时关闭：

   service iptables stop
   

2. 永久关闭：

   chkconfig iptables off
   

五、关闭SELINUX（每台都要做）

1. 临时关闭：

   setenforce 0
   

2. 永久关闭：（重启后生效）

   修改/etc/selinux/config文件中的SELINUX的值为disabled
   

六、配置ssh免密钥登陆（每台都要做）

ssh-keygen -t rsa   //生成密钥
ssh-copy-id hadoop101	//拷贝密钥

七、安装jdk（解压，配置环境变量即可，每台都要做）

八、第一台hadoop101安装mysql（一台即可）

1. 查看mysql是否安装，如果安装了，卸载mysql

   rpm -qa|grep mysql
   rpm -e --nodeps ‘rpm包名’
   

2. 安装mysql服务端

   rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
   

3. 查看产生的随机密码

   cat /root/.mysql_secret
   

4. 启动mysql

   service mysql start
   

5. 安装mysql客户端

   rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
   

6. 链接mysql

   mysql -uroot -pOEXaQuS8IWkG19Xs
   

7. 修改密码

   SET PASSWORD=PASSWORD('123456');
   

8. 退出mysql，重新以新密码进入

   quit;
   mysql -uroot -p123456
   

9. 使用mysql数据库

   use mysql;
   

10. 查询user表

    select User, Host, Password from user;
    

11. 修改user表，把Host表内容修改为%

    update user set host='%' where host='localhost';
    

12. 删除root用户的其他host

    delete from user where Host='hadoop101';
    delete from user where Host='127.0.0.1';
    delete from user where Host='::1';
    

13. 刷新

    flush privileges;
    

14. 退出

    quit;
    

九、下载第三方依赖（每台都要做）

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

十、创建CM用的数据库（进入mysql创建）

1. 集群监控数据库：

   create database amon default charset utf8 collate utf8_general_ci;
   

2. hive数据库：（存储hive元数据的）

   create database hive default charset utf8 collate utf8_general_ci;
   

十一、创建cloudera-manager的存储目录，然后解压cloudera-manager的压缩包（每台都要做）

mkdir -p /etc/module/cloudera-manager
tar -zvxf 压缩包名 -C /etc/module/cloudera-manager

十二、创建用户cloudera-scm（每台都要做）

useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

​ --system 创建一个系统账户
​ --home 指定用户登陆时的主目录，替换系统默认值/home/<用户名>
​ --no-create-home 不用创建用户的主目录
​ --shell 用户的登录shell名
​ --comment 用户的描述信息
​ 注意：Cloudera Manager默认用户为cloudera scm，创建具有此名称的用户是最简单的方法，安装完成后，将自动使用此用户。

十三、配置CM Agent（每台都要做）

修改文件：

vi /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=hadoop101

十四、配置CM的数据库（安装Mysql那一台即可）

1. 创建文件夹：

   mkdir /usr/share/java
   

2. 拷贝数据库连接驱动：

   cp 驱动地址 /usr/share/java
   

3. 驱动改名：

   mv mysql-connector-java.5.7.1.bin.jar mysql-connector-java.jar
   

4. 在mysql数据库中创建cm库：

   /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop101 -uroot -p123456 --scm-host hadoop101 scm scm scm
   	-h：数据库所在的机器名
   	-u：数据库用户名
   	-p：数据库密码
   	-scm-host：scm服务的主机名
   

十五、分发cloudera-manager

十六、在Server节点创建Parcel-repo目录，并改变所有者和所有组（每台都要做）

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

十七、文件拷贝到/opt/cloudera/parcel-repo目录下

​ manifest.json
​ CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
​ CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1
​ 注意：需要把CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1文件改为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

十八、在Agent三台机器创建目录/opt/cloudera/parcels，并改变所有者和所有组（每台都要做）

//用来存放之后安装的一些框架包；如hadoop、hive等
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

十九、启动（启动时间比较长，请耐心等待）

1. 启动server（hadoop101上启动）：

   /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
   

2. 启动agent（三台都启动）：

   /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
   

二十、查看端口被占用则表示成功

netstat -anp | grep 7180

二十一、访问web页面

​ http://hadoop101:7180