企业大数据平台三：企业大数据平台安装

企业大数据平台三：企业大数据平台安装

标签（空格分隔）： 企业大数据平台

---

一，CM 5.x介绍

分布式：
–主节点：Cloudera Manager Server
–从节点：Cloudera Manager Agent
–数据库:PostgreSQl

安装方式：
一：在线安装（联网）–rpm
二：离线安装
—-rpm包，搭建本地源

http://archive.cloudera.com/cm5/redhat/5/x86_64/cm/5.3.6/RPMS/x86_64/

—-tar安装
对于新手，不推荐
对于重要的项目和长久的，推荐

二，CM安装

1，搭建本地yum源–基于http方式

–启动http服务

sudo service httpd start

–apache的配置目录：/etc/www/html

cd /var/www/html
sudo mkdir cm-5.3.6

–配置http服务

tar -zxf tar -zxf cm5.3.6-centos6.tar.gz 

sudo cp ./*.rpm /var/www/html/cm-5.3.6/

2,生成repodata文件夹
–安装三个软件

sudo rpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
sudo rpm -ivh python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
sudo rpm -ivh createrepo-0.9.9-18.el6.noarch.rpm

–生成repodata

cd /var/www/html/cm-5.3.6
sudo createrepo .

3,配置使用本地源

cd /etc/yum.repos.d/
mkdir bak
mv *.repo bak

sudo touch myrepo.repo
sudo vi myrepo.repo
------
[myrepo]
name = myrepo
baseurl = http://cdh001.cluster.com/cm-5.3.6/
enabled = 1
gpgcheck = 0
------

4,安装cm需要支持的数据库PostgreSQL

5，安装CM 5.3.6

chmod u+x cloudera-manager-installer.bin 

./cloudera-manager-installer.bin --skip_repo_package=1

http://cdh001.cluster.com:7180/cmf/login

6,安装cdh 5.3.6

将parcel安装文件放到/opt/cloudera/parcel-repo目录下

//重新启动cm
sudo service cloudera-scm-server status
sudo service cloudera-scm-server restart

7,添加主机
–配置parcels和agent源
–安装agent
–从cms下载cdh parcel包
–在每台机器上进行解压安装

--> Finished Dependency Resolution 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: fuse-libs 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: redhat-lsb 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: cyrus-sasl-gssapi 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: portmap 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: fuse 
You could try using --skip-broken to work around the problem 
You could try running: rpm -Va --nofiles --nodigest 
END (1) 
remote package cloudera-manager-agent could not be installed, giving up waiting for rollback request 


换为国内源，安装 sudo yum install redhat-lsb -y， sudo yum install -y cyrus-sasl-gssapi portmap,sudo yum install fuse-libs fuse
$ vi /etc/yum.repos.d/163.repo    #如果没有这个文件，新建一个，切记：$releasever被修改为了6
[base]
name=CentOS-$releasever - Base - 163.com
baseurl=http://mirrors.163.com/centos/6/os/$basearch/
enabled=1
gpgcheck=0

[updates]
name=CentOS-$releasever - Updates - 163.com
baseurl=http://mirrors.163.com/centos/6/updates/$basearch/
enabled=1
gpgcheck=0

[extras]
name=CentOS-$releasever - Extras - 163.com
baseurl=http://mirrors.163.com/centos/6/extras/$basearch/
enabled=1
gpgcheck=0

[root@server2 yum.repos.d]# yum clean all
[root@server2 yum.repos.d]# yum makecache    #生成缓存
[root@server2 yum.repos.d]# yum install redhat-lsb cyrus-sasl-gssapi portmap fuse-libs fuse -y
至此，CM离线安装已完成！
注意：如果你和我一样是用笔记本虚拟机搭建，可能会出现内存不够，导致CM挂掉情况请重启CM服务，/etc/init.d/cloudera-scm-server start，/etc/init.d/cloudera-scm-agent start，不得不赞叹，cloudera的强大，你启动CM服务后，文件继续断点开始分发！而不用重新开始。

三，添加集群

四，问题解决

一：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响： 
bigdata-cdh01.ibeifeng.com
sudo sysctl -w vm.swappiness=0
echo "vm.swappiness=0" >> /etc/sysctl.conf 

二：
已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.4 (Final)”且发行版为“2.6.32-358.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”，并将 defrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如 /etc/rc.local，这样当系统重启时就会予以设置。或者，升级到 RHEL 6.5 或更新版本，它们不存在此错误。将会影响到以下主机： 
bigdata-cdh01.ibeifeng.com
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

三，解决时间同步问题
1：
touch sync_date.sh
----
/sbin/service ntpd stop
/usr/sbin/ntpdate cdh.cluster.com
/sbin/service ntpd.start
----
2:
crontab -e
---------
*/10 * * * * /bin/sh /opt/sync_date.sh
---------
service crond restart

四,配置java home
sudo vi /etc/profile
---
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export PATH=$PATH:$JAVA_HOME/bin
---

source /etc/profile