Cloudera Manager Server 5.0.2 Hadoop 集群搭建笔记

题记：现学现卖、多多交流~~~希望能帮到一些人

一、机器准备  实体机 3 台全部安装Centos6.5  64bit，

1、建立统一用户名 hadoop 密码 hadoop

2、配置hadoop 的 sudo 无密码权限

vi /etc/sudoers
 
添加
hadoop  ALL=(ALL)       ALL

3、编辑三台机器的  /etc/hosts 统一为如下格式

192.168.0.100 master
192.168.0.101 slave1
192.168.0.102 slave2
192.168.0.102 archive.cloudera.com cdh-server (配置本地YUM  环境 后续会讲到)

4、修改单台机器的 hostname为  master  slave1 slave2  和上面的列表对应

 vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master

5、配置三台机器的ssh互信

ssh-keygen -t rsa #一路回车

然后将三台机器上的 id_rsa.pub  汇总到一个 文件 authorized_keys 并分发到三台机器

6、关闭selinux，关闭防火墙 重启(集群所有节点都要做)

 

#vi /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted


将 SELINUX 设置为 disabled 这部需要重启，


关闭防火墙

service iptables off

二、本地yum环境配置

1、安装httpd

yum install httpd

service httpd restart
# 添加到开机启动项
chkconfig httpd on

2、下载CM包

http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.0.2/

对应CentOS的资源包为：cm5.0.2-centos6.tar.gz

解压到/var/www/html/cm5/redhat/6/x86_64  路径没有的手动建立

3、下载CMD

CDH-5.0.2-1.cdh5.0.2.p0.13-el6.parcel

CDH-5.0.2-1.cdh5.0.2.p0.13-el6.parcel.sha1

manifest.json

 复制到 /var/www/html/cdh5/parcels/5.0.2 路径没有的手动建立

4、下载CMS 安装二进制文件

cloudera-manager-installer.bin

5、配置本地repo文件

vi /etc/yum.repo/CMrepo.repo
[CMrepo]
name=localcdh
baseurl=http://slave2/cm5/redhat/6/x86_64/cm/5.0.2/
enabled=1
gpgcheck=0

注意baseurl 地址极为 搭建本地环境的路径， 我这里搭建在 slave2 这台机器上

将CMrepo.repo 分发到三台机器上

6、安装Mysql

我选择的是Mariadb

vi /etc/yum.repo.d/MariaDB.repo

# MariaDB 10.0 CentOS repository list - created 2015-01-22 04:02 UTC
# http://mariadb.org/mariadb/repositories/
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.0/centos6-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1

保存退出

yum -y install MariaDB-client MariaDB-server MariaDB-devel

本次安装需要创建如下数据库 
--hive数据库 
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci 
--集群监控数据库 
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci 
--hue数据库 
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci 
grant all on *.* to root@"%" Identified by "hadoop";

7、复制Mysql JDBC

在安装的过程会报两个找不到mysql驱动的错误

一个是测试链接的时候不通过，需要copy 一个mysql的jar到 /usr/share/cmf/lib

一个是创建 hive metastore 出错，需要copy到 /opt/cloudera/parcels/CDH/lib/hive/lib/

在使用sqoop过程中，也会报mysql的错误。此时只需要把mysql的jarcopy到对应的/opt/cloudera/parcels/CDH/lib/sqoop/lib/ 下

8、开始安装

执行安装程序

./cloudera-manager-installer.bin

一路Next

安装完成

打开 slave2:7180 开始配置

这只是 简单的整理一下流程，  后续会抽时间 详细完善一下，  包括中间遇到各种错误的解决办法