离线安装CDH5集群及相关软件
一、CDH的三种安装方法
官方共给出了3中安装方式:
第一种方法:必须要求所有机器都能连网。这种方法的最大弊端就是安装过程中,总是因为网络超时,导致安装失败。
第二种方法:需要下载很多包。
第三种方法:对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。所以,选择离线安装。
相关包的下载可以在Cloudera的官网上下载即可。需要下载的软件及包,如下:CDH5.0、Hbase0.96.1.1、Hive0.12.0、Pig0.12.0、zookeeper3.4.5、CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel、CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1、manifest.json、mysql和mysql-connector-java-5.1.33-bin.jar。
二、选择CDH原因
CDH (Cloudera's Distribution,including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
三、系统环境
· 环境: VBox虚拟机
· 操作系统:凝思4.2 x64 内存4G。
注意:如果内存低于2G,安装过程中直接卡死了;因为,CDH的所有组件全部安装会占用很多内存。
· Cloudera Manager:5.0.0
· CDH: 5.0.0
注意 :安装CDH5与CDH4的是不同的,在安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR);但是CDH5中将他们包含在一起了,所以只需要下载一个CDH5的包就可以了。
ip地址 | hostname | 描述信息 |
192.168.1.101 | n1namenode | Namenode节点 |
192.168.1.102 | n2mysql | CM,管理节点 |
192.168.1.103 | n3 | 节点1 |
192.168.1.104 | n4 | 节点2 |
192.168.1.105 | n5 | 节点3 |
192.168.1.106 | n6 | 节点4 |
注意:在上面的六个节点中安装CDH和CM之前,要先安装好凝思操作系统(国产OS),并配置好网络和硬件等。
四、安装
1、准备工作:系统环境搭建
注意:以下操作均用root用户操作。
1. 配置网络(所有节点)
修改hostname,即修改主机名:
vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=n1namenode
重启网络服务:service network restart
修改IP与主机名的映射关系(所有节点):
vi/etc/hosts
192.168.1.101 n1namenode
192.168.1.102 n2mysql
192.168.1.103 n3
192.168.1.104 n4
192.168.1.105 n5
192.168.1.106 n6
注意: 这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。
2.配置信任关系(所有节点)
打通SSH,设置ssh无密码登陆:配置主节点到所有子节点的无密码登录
1)、在主节点上执行:
ssh-keygen-t rsa
注意:默认一路回车,生成无密码的密钥对。
2)、将公钥添加到认证文件中:
cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3)、设置authorized_keys的访问权限:
chmod600 ~/.ssh/authorized_keys 。
4)、拷贝到所有的子节点:scp文件到所有datenode节点
scp~/.ssh/authorized_keys root@n2:~/.ssh/
测试:在主节点上登录子节点,例如ssh n2,正常情况下,不需要密码就能直接登陆进去了。
注意:需要在另外几台子节点上创建 .ssh 文件夹,否则在拷贝的过程中会报错scp: /root/.ssh/authorized_keys: No such file or directory
3.安装Java(所有节点)
注意:操作系统如果自带了JDK,最好是卸载了以后重新安装JDK7。
去Oracle的官网下载jdk的rpm安装包,并使用 rpm -ivh 包名 安装之。
由于是rpm包并不需要我们来配置环境变量,我们只需要配置一个全局的JAVA_HOME变量即可,执行命令:
echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile
4.安装配置MySql(cm管理节点)
Hive需要使用一个关系数据库作为Metastore数据库,使用hive自带的嵌入式数据库debby存在性能问题;所以,需要在n2mysql节点上安装一个mysql数据库,创建数据库 hive数据库。有关mysql的安装具体过程以及配置参数,这里不过多介绍了:
1)、安装mysql: yum install mysql-server
2)、设置mysql开机启动: chkconfig mysqld on
3)、启动mysql服务: servicemysqld start
4)、设置root的初试密码: mysqladmin -u root password 'mysql' 。
5)、登录mysql并创建以下数据库:mysqlmysql -uroot -pmysql
#hive
create database hive DEFAULT CHARSET utf8 COLLATEutf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATEutf8_general_ci;
6)、给root用户授权:
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'n2mysql'identified by 'xxxx' with grant option;
flush privileges;
5.关闭防火墙和SELinux(所有节点)
注意:需要在所有的节点上执行,因为涉及到的端口太多了,临时关闭防火墙是为了安装起来更方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。
1)、关闭防火墙:
serviceiptables stop (临时关闭)
chkconfig iptables off (重启后生效)
2)、关闭SELINUX:
setenforce0 (临时生效)
vi /etc/selinux/config
SELINUX=disabled(重启后永久生效)
6.配置NTP服务(所有节点)
说明:集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。
1)、所有节点安装相关组件: yuminstall ntp 。
2)、配置开机启动: chkconfigntpd on
3)、检查是否设置成功: chkconfig--list ntpd
注意:其中2-5为on状态就代表成功。
4)、主节点配置
在配置之前,先使用ntpdate手动同步一下时间,免得本机与对时中心时间差距太大,使得ntpd不能正常同步。这里选用65.55.56.206作为对时中心, ntpdate-u 65.55.56.206 。
ntp服务只有一个配置文件,配置好了就OK。 这里只给出有用的配置,不需要的配置都用#注掉:
driftfile/var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
启动服务,执行如下命令: service ntpd start
检查是否成功:用ntpstat查看同步状态,出现以下状态代表启动成功
synchronisedto NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
如果出现异常请等待几分钟,一般等待5-10分钟才能同步。
5)、配置ntp客户端(所有datanode节点)
driftfile/var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server n1namenode
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
手动同步一下时间: ntpdate -u n1namenode (主节点ntp服务器)
注意:这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。
启动服务: service ntpd start
因为是连接内网,这次启动等待的时间会比master节点快一些,但是也需要耐心等待一会儿。
2、安装Cloudera ManagerServer 和Agent
1、主节点解压安装:cloudera manager的目录默认位置在/opt下
解压: tar xzvf cloudera-manager*.tar.gz –C /opt
注意:将解压后的cm和cloudera目录放到/opt目录下。
2、为Cloudera Manager 5建立数据库
1)、首先需要去MySql的官网下载JDBC驱动, http://dev.mysql.com/downloads/connector/j/
2)、解压后把mysql-connector-java-5.1.33-bin.jar 放到/opt/cm-5.0.0/share/cmf/lib/中。
3)、在主节点初始化CM5的数据库:
/opt/cm-5.0.0/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -pxxxx --scm-hostlocalhost scm scm scm
3、Agent配置
1)、修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
2)、同步Agent到其他节点
scp-r /opt/cm-5.0.0 root@n2mysql:/opt/
…
3)、在所有节点创建cloudera-scm用户
useradd--system --home=/opt/cm-5.0.0/run/cloudera-scm-server/ --no-create-home--shell=/bin/false --comment "ClouderaSCM User" cloudera-scm
4、准备Parcels,用以安装CDH5和其他软件
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。
相关的文件如下:
CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel
CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1
manifest.json
最后将CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1
,重命名为CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1
.sha
注意:否则,系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。
5、相关启动脚本
启动服务端:/opt/cm-5.0.0/etc/init.d/cloudera-scm-server start
启动Agent服务:/opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start
注意:start为启动参数,stop为停止参数,restart为重启参数。
3、CDH5和其他软件的安装配置
1、启动Cloudera Manager Server和Agent,并登陆
都启动以后,就可以进行CDH5的安装配置了;这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin。
2、登录后选择Cloudera Express
登录以后可以看到:有免费版的ClouderaExpress 和收费版的Cloudera Enterprise(可以试用60天);这时候根据自己的需要去选择,基本上免费版的就可以够用的了。
注意:免费版本的CM5已经没有原来50个节点数量的限制了。
3、列出了可供选择的安装包列表
4、启动Agent节点:为CDH集群指定主机
各个Agent节点正常启动后,输入 192.168.1.[103-106],根据自已网络情况进行调整,然后点击搜索。可以在当前管理的主机列表中看到对应的节点,选择要安装的节点,点继续。
5、进入添加主机向导:确定Parcel包的配置
使用parcel安装方式,parcel下载路径不用修改。选择CDH的安装包,并确定本地Parcel包配置无误,直接点继续就可以了。
6、CM的自动分配
注意:不需要java加密,保留默认值。输入root的密码,所有节点的root密码是一致的,同时安装的数据默认为10。
如果配置本地Parcel包无误,那么CDH包的下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,大约10多分钟吧,取决于内网网速。
注意:如果在进行节点CM管理程序安装过程中出现问题,请检查主机名和IP的配置是否正确。
7、安装主机完成,服务器检查
会对主机进行检查,有个 swappness 需要调整,如果是真实服务器,请将 swappness修改为0,尽量不使用交换分区。
注意:可能会遇到以下问题
Cloudera建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
通过 echo 0 > /proc/sys/vm/swappiness 即可解决。
8、选择安装服务:
一般是选择所有服务进行安装,但是,也可以自定义安装的服务;同时,也可以根据自己的需要选择服务,例如:核心Hadoop或含spark的内核等。
9、服务配置
一般情况下保持默认的节点角色配置就可以了(ClouderaManager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了):
10、设置数据库
选择自定义数据库,填写连接信息,包括:数据库的主机名、数据库类型、用户和密码,并点击测试连接按钮进行测试。
11、设置集群的审查页面:
注意:这里最好都是保持默认配置。
12、添加服务:保留默认值
注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动。
通过以下命令拷贝一个即可:最好是提前拷贝好
cp/opt/cm-5.0.0/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/
注意:首次启动服务的时间比较长,服务的安装过程大约半小时可以完成。
13、查看集群的当前状况
安装完成后,就可以进入集群界面看一下集群的当前状况了。
注意:这里可能会出现 无法发出查询:对 ServiceMonitor 的请求超时 的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了。
14、测试
在集群的一台机器上执行以下模拟Pi的示例程序:
sudo-u hdfs hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi10100
执行过程需要花一定的时间,通过YARN的后台也可以看到MapReduce的执行状态:
MapReduce执行过程中终端的输出如下:
Numberof Maps = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
14/03/1301:15:34 INFO client.RMProxy: Connecting to ResourceManager at n1namenode/192.168.1.101:8032
14/03/1301:15:36 INFO input.FileInputFormat: Total input paths to process: 10
14/03/1301:15:37 INFO mapreduce.JobSubmitter: number of splits:10
14/03/1301:15:39 INFO mapreduce.JobSubmitter: Submitting tokens forjob: job_1413132307582_0001
14/03/1301:15:40 INFO impl.YarnClientImpl: Submitted applicationapplication_1413132307582_0001
14/03/1301:15:40 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/
14/03/1301:15:40 INFO mapreduce.Job: Running job: job_1413132307582_0001
14/03/1301:17:13 INFO mapreduce.Job: Job job_1413132307582_0001 runningin uber mode : false
14/03/1301:17:13 INFO mapreduce.Job: map 0% reduce 0%
14/03/1301:18:02 INFO mapreduce.Job: map 10% reduce 0%
14/03/1301:18:25 INFO mapreduce.Job: map 20% reduce 0%
14/03/1301:18:35 INFO mapreduce.Job: map 30% reduce 0%
14/03/1301:18:45 INFO mapreduce.Job: map 40% reduce 0%
14/03/1301:18:53 INFO mapreduce.Job: map 50% reduce 0%
14/03/1301:19:01 INFO mapreduce.Job: map 60% reduce 0%
14/03/1301:19:09 INFO mapreduce.Job: map 70% reduce 0%
14/03/1301:19:17 INFO mapreduce.Job: map 80% reduce 0%
14/03/1301:19:25 INFO mapreduce.Job: map 90% reduce 0%
14/03/1301:19:33 INFO mapreduce.Job: map 100% reduce 0%
14/03/1301:19:51 INFO mapreduce.Job: map 100% reduce 100%
14/03/1301:19:53 INFO mapreduce.Job: Job job_1413132307582_0001 completedsuccessfully
14/03/1301:19:56 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=91
FILE: Number of bytes written=1027765
FILE: Number of readoperations=0
FILE: Number of large readoperations=0
FILE: Number of writeoperations=0
HDFS: Number of bytes read=2560
HDFS: Number of bytes written=215
HDFS: Number of readoperations=43
HDFS: Number of large readoperations=0
HDFS: Number of writeoperations=3
Job Counters
Launched map tasks=10
Launched reduce tasks=1
Data-local map tasks=10
Total time spent by all mapsin occupied slots (ms)=118215
Total time spent by allreduces in occupied slots (ms)=11894
Total time spent by all maptasks (ms)=118215
Total time spent by all reducetasks (ms)=11894
Total vcore-seconds taken by all maptasks=118215
Total vcore-seconds taken by allreduce tasks=11894
Total megabyte-seconds taken by all maptasks=121052160
Total megabyte-seconds taken by allreduce tasks=12179456
Map-Reduce Framework
Map input records=10
Map output records=20
Map output bytes=180
Map output materialized bytes=340
Input split bytes=1380
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=340
Reduce input records=20
Reduce output records=0
Spilled Records=40
Shuffled Maps =10
Failed Shuffles=0
Merged Map outputs=10
GC time elapsed (ms)=1269
CPU time spent (ms)=9530
Physical memory (bytes) snapshot=3792773120
Virtual memory (bytes) snapshot=16157274112
Total committed heap usage (bytes)=2856624128
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=1180
File Output Format Counters
Bytes Written=97
Job Finished in 262.659 seconds
Estimated value of Pi is 3.14800000000000000000