ClouderaManagerHadoop离线安装-CSDN博客

本文链接：https://blog.csdn.net/doegoo/article/details/48208051

ClouderaManager5 离线安装

系统环境准备

查看及卸载系统自带OPEN-JDK（所有节点）

查看系统是否自带OPEN-JDK

命令：java –version

java version "1.6.0"

OpenJDK Runtime Environment (build 1.6.0-b09)

OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)

出现上述显示，说明系统里已经有OpenJdk执行卸载步骤。

卸载系统是否自带OPEN-JDK（所有节点）

命令：rpm -qa | grep java

java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

出现以上几项，用以下命令卸载

rpm -e --nodepsjava-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e --nodepsjava-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

安装JDK并配置变量（所有节点）

安装

上传jdk相应的版本的包后，执行以下命令

命令：rpm -ivh jdk-7u55-linux-x64.rpm

配置JAVA_HOME全局的JAVA_HOME变量

echo"JAVA_HOME=/usr/java/latest/" >> /etc/environment

用命令：java –version 查看相应版本的jdk是否安装成功

配置/etc/hosts

192.168.1.103 test3

192.168.1.104 test4

各节点之间实现免密码登录

命令：ssh-keygen –t rsa

ssh-copy-id –i hostname

关闭防火墙（所有节点）

防火墙：

命令：service iptables stop (临时关闭)

chkconfig iptables off (重启后生效)

SELINUX：

命令：setenforce 0 (临时生效)

修改/etc/selinux/config 下的 SELINUX=disabled （重启后生效）

安装NTP服务

安装ntp

	命令：yum install ntp

修改/etc/ntp.conf文件内容如下：

# Permit time synchronization with our time source, but do not

# permit the source to query or modify the service on this system.

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface. This could

# be tightened as well, but to do so would effect some of

# the administrative functions.

restrict default nomodify noquery

# Hosts on local network are less restricted.

#restrict 192.168.1.1 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.

# Please consider joining the pool (http://www.pool.ntp.org/join.html)

server 0.pool.ntp.org

server 1.pool.ntp.org

server 2.pool.ntp.org

#broadcast 192.168.1.255 key 42 # broadcast server

#broadcastclient # broadcast client

#broadcast 224.0.1.1 key 42 # multicast server

#multicastclient 224.0.1.1 # multicast client

#manycastserver 239.255.254.254 # manycast server

#manycastclient 239.255.254.254 key 42 # manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup

# and when no outside source of synchronized time is available.

server 127.127.1.0 # local clock

fudge 127.127.1.0 stratum 10

# Drift file. Put this in a directory which the daemon can write to.

# No symbolic links allowed, either, since the daemon updates the file

# by creating a temporary in the same directory and then rename()'ing

# it to the file.

driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating

# with symmetric key cryptography.

keys /etc/ntp/keys

# Specify the key identifiers which are trusted.

#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.

#requestkey 8

# Specify the key identifier to use with the ntpq utility.

#controlkey 8

启动服务端NTP服务

[root@test3 etc]# chkconfig ntpd on //设置开机自启动

[root@test3 etc]# service ntpd start //参数可为status stop restart

同步各节点的时间

同步系统时间命令：ntpdate -u ip 实现时间同步

同步硬件时间命令：hwclock --systohc

Mysql安装与配置（master节点）

安装mysql

命令：rpm –ivh MySQL-server-5.5.28-1.linux2.6.x86_64.rpm

rpm –ivh MySQL-client-5.5.16-1.rhel4.x86_64.rpm

如果系统已经安装则省略此步。或卸载后安装自已的版本

命令：yum -y remove MySQL*

启动mysql

命令：service mysql start

配置mysql数据库

更改mysql密码命令：mysqladmin–uroot password ‘new-password’

登录mysql命令：mysql –uroot–pnew-password

创建以下数据库

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置root授权访问以上所有的数据库

grant all privileges on *.* to 'root'@'主机名' identified by '密码' with grant option;

flush privileges;

编辑：/etc/mysql/my.cnf文件，使其可以远程登录

# Instead of skip-networking the default is now to listen only on

# localhost which is more compatible and is not less secure.

# bind-address           = 127.0.0.1  <---注释掉这一行就可以远程登录了

安装Cloudera Manager 5

解压cloudera-manager包到指定文件

解压cloudera-manager-el6-cm5.2.1_x86_64.tar.gz到/opt/目录下：

触压后生成：/opt/cm-5.2.1和/opt/cloudera两个目录

制作cdh5的本地源

把源文件：

CDH-5.2.1-1.cdh5.2.1.p0.12-el6.parcel

CDH-5.2.1-1.cdh5.2.1.p0.12-el6.parcel.sha

manifest.json

放到/opt/cloudera/parcel-repo目录下

添加cloudera-scm用户：

useradd --system--home=/opt/cm-5.2.1/run/cloudera-scm-server --shell=/bin/false --comment"Cloudera SCM User" cloudera-scm

为Cloudera Manager 5建立数据库

命令：

/opt/cm-5.2.1/share/cmf/schema/scm_prepare_database.sh mysql cm-htest3 -uroot -proot --scm-host test3 scm scm scm

格式是:scm_prepare_database.sh数据库类型数据库服务器用户名密码 –scm-host Cloudera_Manager_Server所在的机器

配置MYSQL的jdbc驱动包

mysql-connector-java-xxxx.jar放到/opt/cm-5.2.1/share/cmf/lib/目录下

Agent配置

修改/opt/cm-5.2.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

复制cloudera-manager到其它节点

scp /opt/cm-5.2.1到所有datanode节点上，然后在每台机器上开启Agents端

启动Cloudera Manager 5 Server端(主节点执行)

命令：/opt/cm-5.2.1/etc/init.d/cloudera-scm-server start

启动Cloudera Manager 5 Agent端(所有从节点执行)

命令：/opt/cm-5.2.1/etc/init.d/cloudera-scm-agent start

通过页面开始安装相应的服务

打开http://192.168.1.103:7180，登陆控制台，默认账户和密码都是admin，安装时选择免费版，按照提示安装即可。

CDH服务升级

准备要升级的版本的parcel包

把下载好的parcel相关的包放到/opt/cloudera/parcel-repo/目录下：

CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel

CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha（一定要把下载的原始文件名后面的1去掉，不然ClouderaManager会联网去下载）

manifest.json

完成parcel的分配和激活

打开http://192.168.1.103:7180，登陆控制台

在主机标签的Parcel标签最下面点击分配和激活，最后在到主页标签下重启集群，即可完成CDH服务的更新。

FAQ:

如页安装过程中可能遇到以下问题：

1. Cloudera建议将/proc/sys/vm/swappiness设置为0。当前设置为 60。使用 sysctl命令在运行时更改该设置并编辑 /etc/sysctl.conf以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，ClouderaManager报告您的主机由于交换运行状况不佳。以下主机受到影响：

解决方法：

命令行中执行以下命令：

echo 0> /proc/sys/vm/swappiness

2. 已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.3 (Final)”且版本为“2.6.32-279.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”，并将 defrag 设置为“[always]never”。请运行“echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如/etc/rc.local，这样当系统重启时就会设置它。或者，升级到 RHEL 6.4 或更新版本，它们不存在此错误。将会影响到以下主机：

解决方法：

命令行中执行以下命令：

echonever > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 'echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local