Centos7及Cloudera Manager安装教程

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又给我们这群喜爱开发的童鞋们提供了友好的入门机会，因此，不如就在当下，开始一步一步的学习并开发自己的小程序吧。这是我的公众号：目的是和大家讨论小程序开发，同时也带着开发小白入门设计开发微信小程序，来吧，加入！

正文：

CentOS7系统下的平台搭建

 

一、简介

CentOS是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。 Ubuntu是一个以桌面应用为主的Linux操作系统。CentOS简约，命令行下的人性化做得比较好，稳定，有着强大的英文文档与开发社区的支持。Ubuntu近些年的使用率有所增加，它用户界面漂亮、管理系统完善、软件源支持强大、技术社区丰富，对硬件的兼容性也不错。然而，服务器更需要的并非这些，如果是开发还是建议用centos。

二、硬件基础

一台服务器，一台工作站。即一个master节点与一个slave节点。

三、安装centos7操作系统

3.1、分别用U盘启动服务器和工作站，在显示器出现log图信息时按下相应的按键进入初始化界面。（本工作站按F12进入。服务器正常情况F12也可进入，也可按F11进入选择窗口选择U盘启动）。

###安装界面出现dracut如下图

 

此时的处理方法：

方法一：如果是用U盘安装，检查一下U盘的label是否含有中文或者空格，有的话就改掉。

方法二： 输入以下命令
dracut:/# cd dev
dracut:/# ls

找到代表你U盘的文件名并记下，例如sdb、sdc等。（查找U盘方法：在进入初始化选择界面后可以按Tab键，此时将屏幕下方的字符改成vmlinuz initrd=initrd.img linux dd quiet，Enter之后会很轻易的识别出代表自己U盘的文件）。

然后重启计算机，再次进入初始化界面后按下Tab键，将屏幕下方的字符改为append initrd=initrd.img repo=hd:/dev/我的U盘文件名:/ quiet，然后启动。

3.2、进入centos7的安装界面。依次设置语言、键盘、时间及安装位置、网路主机名等。

###若出现安装源问题

 

3.3、设置好后点击重启即可重启进入centos系统。

###安装好系统后如果出现不能上网的情况

首先进入终端界面，在根目录下输入ls /etc/sysconfig/network-scripts/。找到ifcfg-eno, 输入vi /etc/sysconfig/network-scripts/ifcfg-eno，如果显示“ONBOOT=no”则改为“ONBOOT=yes”. 用root账户，输入“shutdown -r now"或”rboot”，然后重启系统就可以了。

四、系统环境配置

4.1、设置hosts

输入指令vi/etc/hosts

添加master与slave格式如下

 

192.168.1.10    master

192.168.1.11    slave1

192.168.1.12    slave2

 

4.2、关闭防火墙

systemctl stop firewalld.service      停止firewall

systemctl disable firewalld.service    禁止firewall开机启动

 

4.3、安装JDK1.7   

首先检查系统是否有openJDK,若有则先卸载

rpm -qa | grep openjdk | grep -v grep 查找系统中的JDK

rpm -e --nodeps    通过指令依次卸载

然后进入网址下载JDK1.7http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

解压tar –zxvf  jdk-7u75-linux-x64.tar.gz 

创建java目录mkdir /usr/java 

 

4.4、配置JDK1.7 
编辑/etc/profile文件 
vi /etc/profile 
 

在/etc/profile文件尾部添加 
export JAVA_HOME=/usr/java/jdk1.7.0_75 
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

 

使用source /etc/profile命令重新加载/etc/profile文件，使修改的内容在当前shell窗口中生效。(永久生效，重启系统或注销用户）

(若同时配置主机master可：向主机传文件 scp –r /本机目录  + 主机用户@主机名：/主机目录）

 

4.4、所有节点免密码SSH登陆

使用ssh-keygen 和ssh-copy-id 实现SSH无密码登陆

1、在各个节点使用产生公钥私钥对
bigdata@master:ssh-keygen -t rsa –P（非主节点私钥用ssh-keygen -t rsa）

（此时~/.ssh下会生成id_rsa.pub和id_rsa，其中id_rsa文件起到唯一标识你的客户机的作用，不要随意更改这两个文件名。）

（注意，秘钥不要生成在根目录下，~表示目录为home/bigdata/）

 

（指令ls –a显示全部文件，.ssh可能是隐藏文件）

 

修改sshd配置文件(/etc/ssh/sshd_config).
找到以下内容，并去掉注释符”#“

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile  .ssh/authorized_keys

2、配置authorized_keys文件.
若“~/.ssh/authorized_keys”不存在,则建立.ssh文件夹和authorized_keys文件.
将上文中客户机id_rsa.pub的内容拷贝到authorized_keys中.
（可以在客户机中执行命令来拷贝:
cat ~/.ssh/id_rsa.pub | ssh user@host “cat - >> ~/.ssh/authorized_keys”）

 

注意:
1) .ssh目录的权限必须是700
2) .ssh/authorized_keys文件权限必须是600 

（如：chmod 700 文件名）

    然后重启sshd. （$ /etc/init.d/sshd restart）

3、将各个节点上公钥复制到master上

bigdata@slave1:ssh-copy-id-i ~/.ssh/id_rsa.pub master

4、查看各个节点的公钥是否追加到了主节点上
bigdata@master:cat~/.ssh/authorized_keys

把主节点上的authorized_keys文件发送到各个节点实现无密码登陆(master)
bigdata@master:scp~/.ssh/authorized_keys bigdata@bigdata-slave1:/home/bigdata/.ssh/

5、修改ssh配置文件使能够在root用户也能免密码采用(所有节点）不然后面安装会报错
root@master:vi /etc/ssh/sshd_config
找到PermitRootlogin 一行把后面修改成yes(有些情况是去掉注释#)

6、重启ssh  （root@master:/etc/init.d/ssh restart或者service ssh restart）

4.5、关闭selinux

  打开cd /etc/selinux/config 改为SELINUX=disable

4.6设置时间同步

参考  http://www.centoscn.com/CentOS/config/2015/1105/6385.html

 首先查看master与slave上是否有压缩包 rpm –q ntp

  若没有则yum –y install ntp

设置服务器：

配置前先使用命令：ntpdate -u cn.pool.ntp.org，同步服务器

编辑/etc/ntp.conf文件

*****************

重启ntpd服务systemctlrestart ntpd

使用ntpq -p 查看网络中的NTP服务器，同时显示客户端和每个服务器的关系

设置ntp客户端

安装ntp服务并设置为自动启动，和前面的设置方式相同。

然后编辑/etc/ntp.conf文件

***********

重启ntp服务   systemctl restart ntpd

4.7、Master主节点上安装mysql

参考http://www.mamicode.com/info-detail-503994.html

1、CentOS7的yum源中默认应该是没有mysql的，所以需要去网址上下载

$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

2、安装这个包$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm     安装这个包后，会获得两个mysql的yum repo源：/etc/yum.repos.d/mysql-community.repo，/etc/yum.repos.d/mysql-community-source.repo。

3、安装Mysql  

$ sudo yum install mysql-server

不过安装完成后，没有密码，需要重置密码。

4、重置密码前首先要登录  $ mysql -u root

###若登录是报错则：（ ERROR 2002 (HY000): Can‘t connect to local MySQL server throughsocket ‘/var/lib/mysql/mysql.sock‘ (2)）

原因是/var/lib/mysql的访问权限问题。下面的命令把/var/lib/mysql的拥有者改为当前用户：$ sudo chown -R openscanner:openscanner /var/lib/mysql

然后重启服务：$ service mysqld restart

5、完成上述步骤后登录重置密码：$ mysql -u root

mysql > use mysql; mysql > update user set password=password(‘123456‘) whereuser=‘root‘;

mysql > exit;

 

（shutdown -r now 立刻重启  　　shutdown-r 10 过10分钟自动重启  　　shutdown -r 20:35 在时间为20:35时候重启 　　shutdown -h now 立刻关机  　　shutdown -h 10 10分钟后自动关机）

五、主节点安装CM

5.1、下载CM

Cloudera Manager : http://archive.cloudera.com/cm5/cm/5/

5.2、把下载的CM包解压到opt下

tar -xcvfcloudera-manager-trusty-cm5.6.0_amd64.tar.gz /opt

    -zxvf

5.3、添加mysql connector包  

mv mysql-connector-java-5.1.38-bin.jar/opt/cm-5.6.0/share/cmf/lib

5.4、所有节点创建cloudera-scm用户
 

 

(远程复制指令：

例如将主节点上的文件复制到slave上某个指定的文件夹中：

sudo scp-r /文件所在目录@slave1:~/）

5.5、Agent 配置

用vi /opt/cm-5.6.0/etc/cloudera-scm-agent/config.ini

将其中的server_host为主节点的主机名
5.6、Parcels离线包设置（仅主节点）

将下载好的CDH-5.6.0-1.cdh5.6.0.p0.45-trusty.parcel                                                           
      CDH-5.6.0-1.cdh5.6.0.p0.45-trusty.parcel.sha
      manifest.json文件移至/opt/cloudera/parcel-repo/中,没有这个目录的话，手动       创建。

5.7、启动Cloudera Manager                            

 主节点  

/opt/cm-5.6.0/etc/init.d/cloudera-scm-serverstart/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent start
从节点
/opt/cm-5.6.0/etc/init.d/cloudera-scm-agent start

重启server 过程中需要查看日志 cd /opt /…./log /….  Cat cloudera…. 确认下是否重启成功

Cd /opt/cm-5.7.0/etc/init.d/cloudera-scm-agentstop

Cd /opt/cm-5.7.0/etc/init.d/cloudera-scm-agentstart

在mysql中创建一个库来提供给CM服务.

初始化CM5的数据库(仅主节点)

/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm

主节点把CM与server发给各个节点

 

若出现agent启动失败的情况：

5.8、Web端设置

六、安装CDH5

ClouderaManager Server和Agent都启动以后，就可以进行CDH5的安装配置了。根据自己的操作系统下载CDH包：

http://archive.cloudera.com/cdh5/parcels/latest/

1、这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：

 

 

2、

 

3、

各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

 

 

4、接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。

 

5、点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约几分钟，取决于内网网速。

 

6、接下来是服务器检查

###可能会遇到以下问题：Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过指令echo 0 > /proc/sys/vm/swappiness解决。

 

7、

 

8、保持默认配置就可以。

 

9、接下来是数据库的设置，检查通过后就可以进行下一步的操作了：

 

10、下面是集群设置的审查页面，我这里都是保持默认配置的

 

11、到安装各个服务的地方，注意：这里安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动，通过以下命令拷贝一个就行了：

Cp  /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/

 

12、服务的安装过程大约半小时内就可以完成