在虚拟机中搭建CDH版本的大数据平台

最新推荐文章于 2024-08-17 10:56:11 发布

我的快乐hiahia

最新推荐文章于 2024-08-17 10:56:11 发布

阅读量3.9k

点赞数

分类专栏：大数据文章标签：大数据 centos hadoop 虚拟机 linux

本文链接：https://blog.csdn.net/syw412327/article/details/51211632

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

研究生期间有幸接触到当前流行大数据，好在学校在硬件上还比较给力，我有一台光硬盘就48T的服务器。于是在服务器上搭建了CDH版本的大数据平台。闲话少说，此教程针对大数据平台搭建的研究，并有一定的Linux命令基础，或者搭建过apache版本的hadoop。

所需文件放在我的百度网盘大数据相关文件中，密码是g7as
cloudera-manager-el6-cm5.3.3_x86_64.tar.gz
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha
manifest.json
jdk-8u77-linux-x64.rpm
mysql-connector-java-5.1.13-bin.jar

下面就开始分享我的搭建过程

1.下载CentOS-6.5-x86_64-bin-DVD1.iso，安装到虚拟机中，作为主机n1

2.将下载好的jdk-8u77-linux-x64.rpm放入安装好centos操作系统的n1节点中，使用rpm -ivh jdk-8u77-linux-x64.rpm 实现自动安装jdk 接下来修改配置文件使用命令vi /etc/profile打开配置文件，添加如下配置

exportJAVA_HOME=/usr/java/jdk1.8.0_77
exportJRE_HOME=$JAVA_HOME/jre
exportPATH=$JAVA_HOME/bin:$PATH 最后保存配置文件，注意 source /etc/profile 算是一个激活吧，不然重开机后可能没有成功修改配置文件

3.修改配置文件

查看命令 cat /proc/sys/vm/swappiness 一般情况下都是60

vi /etc/sysctl.conf 添加 vm.swappiness=0 保存退出重启后再查看就回是0

操作这个是为了最后一步安装检查集群节点时出现警告

具体原理请看http://blog.csdn.net/wulantian/article/details/36184943

4.关闭防火墙

临时关闭：service iptables stop

永久关闭：chkconfig iptables off

查看关闭状况：service iptables status

5.关闭SELINUX

将SELINUX=enforcing 改为SELINUX=disabled（重启后生效）

查看SELINUX状态 /usr/sbin/sestatus -v

若SELinux status 为disabled 即为关闭

6.以n1节点为母节点克隆出两个子节点n2,n3

7.对所有节点操作

修改相应主机名，和配置集群ip地址

修改主机名命令 vi /etc/sysconfig/network

修改主机ip地址命令 vi /etc/hosts

8.打通ssh

所有节点使用命令ssh-keygen -t rsa
n1主节点 cat idrsa.pub >> authorized_keys
scp authorized_keys root@n2:~/.ssh
n2从节点 cat idrsa.pub >> authorized_keys
scp authorized_keys root@n3:~/.ssh
n3从节点 cat idrsa.pub >> authorized_keys
chmod 600 authorized_keys
scp authorized_keys root@n2:~/.ssh
scp authorized_keys root@n1:~/.ssh

操作完成后，就能实现各个节点免密钥登录了

9.ntp同步

n1主节点
yum install ntp

chkconfig ntpd on //开机自启动
chkconfig --list ntpd

先手动同步
ntpdate -u 202.112.10.36

修改配置 /etc/ntp.conf
1.去掉#restrict ip mask 255.255.255.0 nomodify notrap 前面的#
允许内网其他机器同步时间
restrict ip mask 255.255.255.0 nomodify notrap

2.所有 server 前加上# 并添加下面的新的server
server 210.72.145.44 perfer
server 202.112.10.36
server 59.124.196.83

保存

启动 service ntpd start

查看是否同步ntpstat

n2,n3从节点
yum install ntp

chkconfig ntpd on

vi /etc/ntp.conf

所有 server 前加上# 并添加下面的新的server

server 主节点n1

保存
ntpdate -u 主节点n1

启动
service ntpd starty
查看是否同步ntpstat

不太明白的，可以参考http://acooly.iteye.com/blog/1993484

10.主节点n1安装mysql，并创建数据库，和对root用户授权

yum install mysql-server
设置开机启动
chkconfig mysqld on
启动mysql
service mysqld start
设置root用户和初始密码
mysqladmin -u root password 'root'
进入mysql
mysql -uroot -proot

创建数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

授权root用户在主节点上拥有所有数据库访问权限
grant all privileges on *.* to 'root'@'主节点n1' identified by 'root' with grant option;
flush privileges;

11.n1主节点安装ClouderaManager server

n1主节点
将cloudera-manager-el6-cm5.3.3_x86_64.tar.gz放入/opt目录下
tar -zxvf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

复制mysql-connector-java-5.1.13-bin.jar到 /opt/cm-5.3.3/share/cmf/lib/目录下

初始化Cloudera Manager5的数据库
/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -proot --scm-host localhost scm scm scm

修改Agent配置文件
vi /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
server_host=主节点n1

复制文件到Agent节点
scp -r /opt/cm-5.3.3 root@n2:/opt/
scp -r /opt/cm-5.3.3 root@n3:/opt/

所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment"Cloudera SCM User" cloudera-scm

12.安装CDH

将前面下载CHD5.3.3 三个安装文件复制到到主节点的/opt/cloudera/parcel-repo/目录下
修改parcel-repo文件夹权限，给用户cloudera-scm权限：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

13.至此基本完成环境的安装，所有节点快照一下，避免出错后，能够返回

14.启动server和agent

n1主节点 /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start 启动服务端。

n1、n2、n3所有节点 /opt/cm-5.3.3/etc/init.d/cloudera-scm-agentstart 启动Agent服务。

启动后可通过浏览器访问 http://cdh1;hadoop.com:7180，用户名和密码默认为均为admin

接下来就可以在网页上进行安装了

注意启动所有服务之前对hive的配置添加Mysql驱动

cp /opt/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.13-bin.jar /opt/cloudera/parcels/CDH-5.3.3- 1.cdh5.3.3.p0.5/lib/hive/lib/

否则会在安装服务时，由于找不到mysql驱动，安不上hive，中断服务安