cloudera-manager安装

最新推荐文章于 2020-07-22 10:49:55 发布

Kumquatlemon

最新推荐文章于 2020-07-22 10:49:55 发布

阅读量1.9k

点赞数

分类专栏： cm

本文链接：https://blog.csdn.net/Kumquatlemon/article/details/78528372

版权

cm 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

cloudera-manager安装

一、机器准备
选用服务器或者阿里云服务器，安装CentOS6.5系统。
注意：安装操作系统时，选择桌面版，其他版本会出现缺失包等异常错误，请安装64位版本，CM不支持32位CentOS。
验证方法：使用root用户查看操作系统 /proc/version文件的内容，如果含有x86_64 字样说明该操作系统为64位版本，否则为32位操作系统。、
二、CM安装前linux环境准备工作下载资料http://archive.cloudera.com/cm5/cm/5/
free -m df -h
cat /proc/cpuinfo
1、配置ip、主机名、服务器之间的映射（所有服务器）
192.168.60.137 sdzn-test-cdh01.com
2、修改主机名：vi /etc/sysconfig/network（所有服务器）
3、修改hosts文件linux中：vi /etc/hosts文件（所有服务器）
添加：
192.168.60.137 sdzn-test-cdh01.com
192.168.60.137 sdzn-test-cdh02.com
192.168.60.137 sdzn-test-cdh03.com
192.168.60.137 sdzn-test-cdh04.com
window中hosts文件中 C:\Windows\System32\drivers\etc\hosts
添加：
192.168.60.137 sdzn-test-cdh01.com
192.168.60.137 sdzn-test-cdh02.com
192.168.60.137 sdzn-test-cdh03.com
192.168.60.137 sdzn-test-cdh04.com
提示：修改所有服务器主机名后重启系统，然后通过hostname查看主机名是否正确，通过ping sdzn-test-cdh01.com等验证网络映射配置是否正确。
4、禁用Ipv6 （所有服务器）
注意：在不禁用IPV6的情况下集群可能会出现网络错误。
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off " >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
修改好配置文件后需要重启linux系统后，才能看到IPV6被禁用后的结果。
3、关闭防火墙，禁用selinux
注意：在安装时需要随时记住防火墙关闭情况，通常需要永久关闭。
service iptables stop
chkconfig iptables off
查看防火墙启动级别：# chkconfig iptables --list
关闭selinux
命令：# vi /etc/sysconfig/selinux
将SELINUX值修改为disabled
注意：需要重启生效
查看状态：# /usr/sbin/sestatus -v
4、配置无秘钥登录ssh
提示：免key登录不属于必须操作，建议不要在root用户上用免key操作
本机需要远程登录到其他主机的用户上执行如下命令：
生成公钥和私钥：
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
复制公钥到免key主机：
# ssh-copy-id 指定主机地址ip(自己也要和自己免key)
5、配置JDK
5.1卸载自带JDK
# rpm -qa|grep java 查看主机安装的jdk
# rpm -e --nodeps xxx yyy zzz 卸载主机上的jdk（‘xxx’为查询出安装的jdk名称，若有多个依次添加，进行卸载）
5.2解压安装：
/usr/java/jdk1.7.0_67
修改环境变量:vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
5.3发给另外三台机器
scp -r /usr/java/ sdzn-test-cdh02.com:/usr/
scp -r /usr/java/ sdzn-test-cdh03.com:/usr/
scp -r /usr/java/ sdzn-test-cdh04.com:/usr/
6、启动http服务
查看服务状态：# service httpd status
打开服务：# service httpd start
提示：如果提示找不到http服务时，需要进行安装，安装可以选用yum方式，命令如下：# yum install httpd
7、系统服务器时间同步
1）先选择一台服务作为集群的时间服务器，其他服务器与这台服务器时间进行同步
sdzn-test-cdh01.com
国内的时间服务器;
ntp.sjtu.edu.cn 202.120.2.101 (上海交通大学网络中心NTP服务器地址）
s1a.time.edu.cn 北京邮电大学
s1b.time.edu.cn 清华大学
这几个不行就从网上搜其他时间服务器，比如（备用： ntpdate -u 1.cn.pool.ntp.org）
2) vi /etc/ntp.conf
18 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
打开注释，网段改成自己集群网段
22 #server 0.centos.pool.ntp.org
23 #server 1.centos.pool.ntp.org
24 #server 2.centos.pool.ntp.org
注释掉
35 server 127.127.1.0 # local clock
36 fudge 127.127.1.0 stratum 10
注释去掉或者手动添加
3）所有节点上执行
# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd
# yum -y install ntpd 如果没有安装ntpd这个服务
4）同步外界时间服务器
ntpdate -u ntp.sjtu.edu.cn
17 Nov 14:30:39 ntpdate[2871]: no server suitable for synchronization found
第一个 ntpd服务启动后5分钟内
第二个 ntp.sjtu.edu.cn失效
5）将系统时间同步给硬件时钟时间
hwclock --localtime
hwclock --localtime -w
6）服务器停机系统时间停止，硬件时钟正常在，设置服务器重启后，能够自动将硬件时钟时间同步给系统时间
# vi /etc/sysconfig/ntpd
首行添加 SYNC_HWCLOCK=yes
7）服务器启动以后，系统同步外界服务器时间后，再同步给硬件时钟时间
# vi /etc/sysconfig/ntpdate
SYNC_HWCLOCK=yes
8）其他几台服务区同步集群的时间服务器
ntpdate -u sdzn-test-cdh01.com
crontab -e
*/10 * * * * /usr/sbin/ntpdate -u sdzn-test-cdh01.com
通过mail 验证是否执行
9）所有服务器
service crond restart
service ntpd restart
8、配置用户最大可打开的文件数量，已经服务器最大进程数目
# ulimit -a 文件打开数目
# ulimit -u 用户最大进程数
# vi /etc/security/limits.conf 手动设置
添加如下几行：
* soft nofile 32728
* hard nofile 1024567
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
scp /etc/security/limits.conf bigdata05.rainbow.com:/etc/security/limits.conf
重启验证
9、CM规划
192.168.60.137 sdzn-test-cdh01.com server agent
192.168.60.137 sdzn-test-cdh02.com agent
192.168.60.137 sdzn-test-cdh03.com agent
192.168.60.137 sdzn-test-cdh04.com agent
三、安装mysql数据库
1、选一台服务安装mysql 5.6
sdzn-test-cdh01.com
2、删除系统自带mysql依赖包
rpm -qa | grep mysql
rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64
3、选择yum安装方式
选择的是msyql5.6版本
yum源模式安装的是5.1版本
更新yum源里面的mysql版本信息
4、下载mysql的yum源
# cd /etc/yum.repos.d/ 源仓库
5、更新mysql源
# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm
mysql-community.repo
mysql-community-source.repo
6、修改下mysql的镜像源地址和信息
1）vi mysql-community.repo
5.6 enabled=1
5.7 enabled=0
2） vi mysql-community-source.repo
5.6 enabled=1
5.7 enabled=0
最后 MySQL Tools Preview - Source enabled=1
7、更新下yum源
# yum makecache Metadata Cache Created 更新成功
8、# yum repolist enabled | grep mysql
查看mysql源是否配置成功
9、安装mysql
yum -y install mysql-community-server 联网下载75M左右
Complete!
mysql安装的远程端，hive连接数据库的元数据需要启动matestore
10、 service mysqld status 停止状态开启
执行mysql_secure_installation 初始化mysql
四、CM安装
1、CM安装
1）安装CM所需的依赖包（集群所有服务器）
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
http://archive.cloudera.com/cdh5/
2）在server节点上创建一个目录
mkdir -p /opt/cloudera-manager
3）解压CM安装包到/opt/cloudera-manager
tar zxf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager/
cloudera CM集群框架的安装包目录
cm-5.3.6 CM本身的配置信息，启动信息，lib库
4）修改CM配置/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent
server_host = sdzn-test-cdh01.com
5）拷贝给其他agent从节点
scp -r /opt/cloudera-manager/ sdzn-test-cdh04.com:/opt/
如果你网速慢就不要用scp命令直接上传到其他机器，解压修改配置文件中的server_host = sdzn-test-cdh01.com
6）创建一个CM专用普通用户： cloudera-scm (不能更改)
useradd --system /表示创建的系统用户
--home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server /表示指定用户的主目录位置
--no-create-home /表示不创建用户主目录
--shell=/bin/false /不作为登录用户
--comment "Cloudera SCM User" cloudera-scm
cat /etc/passwd | grep cloudera-scm 确认是否创建成功
7）添加temp用户及赋予相关权限（mysql中）
grant all privileges on *.* to 'rainbow'@'%' identified by 'rainbow'with grant option;
驱动包放入 /usr/share/java 下
8）在server节点上初始化CM在mysql中状态
使用CM自带的脚本，并且指定一些参数
/opt/cloudera-manager/cm-5.3.6/share/cmf/schema/ 脚本路径下执行
格式是:scm_prepare_database.sh 数据库类型数据库服务器用户名密码 –scm-host
./scm_prepare_database.sh mysql cm -h 192.168.60.137 -urainbow -p --scm-host 192.168.60.137 scm scm scm
显示如下信息表示创建成功
FO Successfully connected to database.
All done, your SCM database is configured correctly!
11、检查mysqld服务是否开启
------------------
mysql出错重新安装要卸载干净
卸载参考：https://zhidao.baidu.com/question/585362502.html
-------------------
2、配置CDH源
1）主节点创建
mkdir -p /opt/cloudera/parcel-repo
agent节点创建
mkdir -p /opt/cloudera/parcels
2）
mv softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel* cloudera/parcel-repo/
mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha 把结尾1去掉
mv manifest.json /opt/cloudera/parcel-repo/*
3）更改 parcel-repo parcels 所有人
主节点 chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
agent chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/
3、启动相关进程
/opt/cloudera-manager/cm-5.3.6/etc/init.d server和agent进程启动脚本目录
1）在主节点启动server进程
/opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start
CM日志文件路径
/opt/cloudera-manager/cm-5.3.6/log/cloudera-scm-server
# netstat -tlnup | grep 7180 是否处于监听状态来确认jetty web服务是否启动成功
2）从节点启动agent进程
/opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start
ps -ef | grep cloudera python维护的进程，所以jps是看不到
4、进入web管理页面
http://sdzn-test-cdh01.com:7180/
admin admin
解决警告：
内存交换区：echo 0 > /proc/sys/vm/swappiness
透明大页面：echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
# vi /etc/rc.local 加入echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 命令
五、大数据框架安装部署
说明：/opt/cloudera/parcels/CDH 各个组件框架的配置、命令、jar包安装目录
1、hdfs
export HADOOP_USER_NAME=hdfs 针对hadoop，设置一个临时的hdfs用户
2、yare
/opt/cloudera/parcels/CDH/jars
# hadoop checknative 支持哪些压缩
3、zookeeper
报错：对当前 NameNode 的名称目录进行格式化。如果名称目录不为空，此操作将失败。
正常从非ha状态升级Ha报错，正常现象
4、 hive
在mysql中针对hive做一些权限设置
mysql> create database hive default character set latin1;
grant all privileges on hive.* to 'hive'@'%' identified by 'hive' ;
flush privileges ;
grant all privileges on hive.* to 'hive'@'sdzn-test-cdh03.com' identified by 'hive' ;
metastore ：当mysql在远程端时需要启动该服务进程，客户端通过metastore与mysql数据库通讯
hiveserver2：客户端可以通过jdbc的方式与hive元数据库通讯，
可以在多个客户端通过一个新的命令行shell （beeline） mysql数据库通讯
hiveserver2：
beeline> !connect jdbc:hive2://sdzn-test-cdh03.com:10000
5、sqoop
注意启动sqoop server进程服务的服务器上放置驱动包
mysql> grant all privileges on *.* to 'root'@'sdzn-test-cdh03.com' identified by 'root' ;
测试：
# sqoop list-databases --help
sqoop list-databases \
--connect jdbc:mysql://sdzn-test-cdh01.com:3306 \
--username root \
--password 123456
该命令执行的客户端主机/usr/share/java 目录下要有连接mysql驱动包
grant all privileges on *.* to 'root'@'sdzn-test-cdh03.com' identified by 'root' ;
6、flume
在CM上，一个flume组件管理相同一类（conf配置内容相同）的agent服务进程
file:/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-agent/process/88-flume-AGENT/flume.conf
可以在flume的配置页面下更改flume.conf信息
source EXEC tail -f /.../xx.log
echo "xxxx" > xx.log
channel
sink hdfsSink
/flume/%Y%m%d/%h
向hdfs写入数据时，以flume的身份访问，并创建目录
报错：
hdfs dfs -mkdir -p /flume
hdfs dfs -chown -R flume:flume /flume
7、oozie
ext-2.2.zipJS 依赖jar包，需要解压到oozie server进程所在的服务器上
解压到 /var/lib/oozie 目录下
8、hbase
9、 Hue 是大数据的web工具
hql
mysq
oozie
mr-hs
hdfs-添加、修改、删除
Hue+CM一起使用
10、
spark on yarn 由yarn来管理spark提交的任务
RS NM
spark standalone 由standalone模式去协调资源
master driver/app
slave 从节点
CM5.3.6 对应的spark 1.2
sparkSql sql on hadoop
impala CDH
wordcount
scala 面向函数式的编程，面向对象
sc.readHDFS(/user/beifeng/input/wc.txt).flatmap(x=>x.split(" ")).map(x=>(x,1)).reduceBykey((x,y)=>(x+y)).collect
Array((spark,10),(hive,5).......)
sc.readHDFS(/user/beifeng/input/wc.txt).flatmap(x=>x.split(" ")).map(x=>(x,1)).reduceBykey((x,y)=>(x+y)).collect
sc.readHDFS(/user/beifeng/input/wc.txt).flatmap(_.split(" ")).map((_,1)).reduceBykey((_,_)).collect

Kumquatlemon

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
cloudera-manager安装

cloudera-manager安装一、机器准备选用服务器或者阿里云服务器，安装CentOS6.5系统。注意：安装操作系统时，选择桌面版，其他版本会出现缺失包等异常错误，请安装64位版本，CM不支持32位CentOS。验证方法：使用root用户查看操作系统 /proc/version文件的内容，如果含有x86_64 字样说明该操作系统为64位版本，否则为32位操作系统。、二、C
复制链接

扫一扫