安装cloudera-manager

安装cloudera-manager

1. ssh免密码登陆
   

在crxy210上

ssh-keygen -t rsa;

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys;

 

免密码相互登陆本

在crxy210-215上面分别

rm –f ~/.ssh/*

 

ssh-keygen -t rsa

 

把hosts文件复制到每个节点

 

ssh-copy-id crxy210.crxy

把crxy210.crxy的~/.ssh/authorized_keys 替换crxy210~215.crxy主机上的~/.ssh/authorized_keys

1. 所有节点修改所有主机host文件
   

添加：

192.168.1.210 crxy210.crxy

192.168.1.211 crxy211.crxy

192.168.1.212 crxy212.crxy

192.168.1.213 crxy213.crxy

192.168.1.214 crxy214.crxy

192.168.1.215 crxy215.crxy

192.168.1.219 cm219.crxy

 

192.168.1.201 crxyum.crxy

 

1. 所有节点关闭防火墙：
   

service iptables stop;

chkconfig iptables off;

1. 所有节点关闭selinux：
   

在命令行临时修改：setenforce 0

永久修改/etc/selinux/config文件：SELINUX=disabled。重启节点使修改生效。

 

1. 配置yum：
   

 

 

使用压缩包中准备好的文件来快速搭建本地yum源。

在用来提供yum源服务的主机上执行下面操作：

 

5.1，把本地yum压缩包中的cloudera-manager cloudera-cdh5连个文件夹放入/etc/yum.repos.d/中，把tomcat7，jdK1.7入/usr/local

 

 

5.2，安装jdk

tar -zxvf jdk-7u45-linux-x64.tar.gz;

rm -f jdk-7u45-linux-x64.tar.gz;

mv jdk1.7.0_45 jdk;

配置环境变量

vi /etc/profile 增加内容如下:

    export JAVA_HOME=/usr/local/jdk

    export PATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile

 

5.3，设置文件连接：

ln -s /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5;

ln -s /etc/yum.repos.d/cloudera-manager /usr/local/tomcat7/webapps/ROOT/cloudera-manager;

（linux下文件移动到windows下面后，软连接会丢失。）

5.4，启动tomcat：

cd /usr/local/tomcat7/bin/;

chmod +x *.sh;

/usr/local/tomcat7/bin/startup.sh;

 

5.5，关闭防火墙：

service iptables stop;

chkconfig iptables off;

 

5.6测试：

在浏览器上测试：http://192.168.1.227:8080/cloudera-manager/c.html

在命令行下测试：

修改压缩包中提供的my-cloudera-cdh5.repo，my-cloudera-manager.repo中的主机为当前提供yum服务的主机的IP或主机名crxyum.crxy（需要在/etc/hosts文件中配置到IP的映射）。

修改后把my-cloudera-cdh5.repo，my-cloudera-manager.repo放入crxyum.crxy主机的/etc/yum.repos.d/中。

执行：sudo yum clean all; sudo yum install hadoop-yarn-resourcemanager

（用于测试，要选择N）

 

本文中提供yum源服务的主机上：crxyum.crxy

cdh5源地址: http://crxyum.crxy:8080/cloudera-cdh5/

clouder manager源地址: http://crxyum.crxy:8080/cloudera-manager/

 

1. 安装mysql-java-connector
   

运行cloudera manager service的主机（crxy155.crxy）需要安装mysql-java-connector

把压缩包中的mysql-connector-java.jar放入：/usr/share/java

需要创建：/usr/share/java

mkdir /usr/share/java

 

1. 在所有节点上时间同步：
   

yum install -y ntp

ntpdate utcnist.colorado.edu

 

使用虚拟机搭建集群的情况下：

在左侧安装的虚拟机上右键打开设置：

 

可以使用定时任务去定期同步时间：

crontab -e 

0    *    *    *    *    ntpdate utcnist.colorado.edu （示例：每个小时0分同步一次时间）

 

当出现：the NTP socket is in use, exiting时，先关闭ntpd服务，再同步。

 

 

 

1. 所有节点修改解析文件，
   

添加查找域search crxy

 

 

2. 下载cloudera-manager-installer相应版本
   

   也就是压缩包中提供的cloudera-manager-installer.bin

   Index of /cm5/installer

   http://archive.cloudera.com/cm5/installer/

 

把修改完主机名的my-cloudera-cdh5.repo，my-cloudera-manager.repo放入cloudera manager （crxy219.crxy）的/etc/yum.repos.d/中。

 

把cloudera-manager-installer.bin放在cloudera manager （crxy219.crxy）

添加执行权限运行

sudo yum clean all

chmod +x cloudera-manager-installer.bin

./cloudera-manager-installer.bin

 

1. 添加cloudera manager数据库：
   

需要先在MySQL数据库服务器上手动创建scm数据库

在cloudera manager （crxy219.crxy）上执行

[root@cm java]# sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -h crxy180.crxy:3306   --scm-host cm.crxy scm root crxycn

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing:  /usr/java/jdk1.7.0_55-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

2014-10-16 09:23:50,227 [main] INFO  com.cloudera.enterprise.dbutil.DbCommandExecutor  - Successfully connected to database.

All done, your SCM database is configured correctly!

[root@cm java]#

命令选项说明：

mysql：数据库类型是MySQL

-h crxy180.crxy：数据库所在主机crxy180.crxy

--scm-host cm.crxy：cloudera service运行的主机是cm.crxy

scm root crxycn：最后三个参数，数据库名称 账户 密码

 

 

 

删除内置数据库PostgreSQL的属性文件

rm –f /etc/cloudera-scm-server/db.mgmt.properties

执行完之后：