文章目录
- 2、安装Linux系统
- 3、配置静态IP
- 4、修改主机名
- 5、修改hosts列表
- 6、关闭防火墙
- 7、修改selinux
- 8、NTP时钟与主机同步
- 9、Ssh免密钥登录
- 10、安装JDK(所有节点)
- 11、安装mysql数据库(NameNode节点)
- 12、安装Cloudera-Manager
-
- 12.1.解压CM tar包
- 12.2.创建cloudera-scm用户(所有节点)
- 12.3.创建本地元数据保存目录(主节点)
- 12.4.拷贝mysql-connector-java到各个节点指定目录下(所有的节点)
- 12.5.配置从节点cloudera-manger-agent指向主节点服务器(所有节点)
- 12.6.创建parcel-repo仓库目录(主节点)
- 12.7.创建parcels目录(所有节点)
- 12.8.初始脚本配置数据库scm_prepare_database.sh(主节点)
- 12.9.启动主节点cloudera-scm-server
- 12.10.重启自动启动脚本(所有节点)
- 12.11.启动cloudera-scm-agent(所有节点)
- 13、在浏览器安装CDHs
1.1.环境搭建所需安装文件表
项目名称 | 包名 |
---|---|
Liunx系统: | CentOS-7-x86_64-Minimal-1511 |
JDK: | jdk-8u131-linux-x64.tar.gz |
MySQL文件: | compat-mysql51-5.1.73-1.el6.remi.x86_64.rpm mysql-connector-java-5.1.46-bin.jar MySQL-client-5.6.42-1.el7.x86_64.rpm MySQL-devel-5.6.42-1.el7.x86_64.rpm MySQL-server-5.6.42-1.el7.x86_64.rpm |
Cloudera Manager 安装包: http://archive.cloudera.com/cm5/cm/5/ |
cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz |
CDH 5.11 安装包: http://archive.cloudera.com/cdh5/parcels/latest/ |
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1 manifest.json |
KAFKA安装包: csd: http://archive.cloudera.com/csds/kafka/ parcel:http://archive.cloudera.com/kafka/parcels/latest/ |
KAFKA-1.2.0.jar KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha1 manifest.json |
SPARK2安装包: csd:http://archive.cloudera.com/spark2/csd/ parcel:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/ |
SPARK2_ON_YARN-2.1.0.cloudera1.jar SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el7.parcel SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el7.parcel.sha1 manifest.json |
Phoenix: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/ |
CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel.sha1 manifest.json |
Zeppelin: http://zeppelin.apache.org/download.html |
zeppelin-0.8.0-bin-all.tgz |
2、安装Linux系统
略
3、配置静态IP
#vi /etc/sysconfig/network-scripts/ifcfg-eth0:添加静态IP。
注:网卡配置文件不一定是eth0,如果有多块网卡要配置对应的网卡配置文件。
保存退出 :wq
重启:service network restart
验证 : ifconfig
4、修改主机名
#Vim /etc/sysconfig/network
HOSTNAME=NameNode
确实修改生效命令:
#hostname NameNode
检查主机名:
#hostname
其他4台一样修改为SNameNode、DataNode1、 DataNode 2、 DataNode 3
5、修改hosts列表
打开文件添加列表:
#Vim /etc/hosts
10.200.90.162 SNameNode
10.200.90.163 DataNode1
10.200.90.164 DataNode2
10.200.90.165 DataNode3
6、关闭防火墙
如果你的系统上没有安装防火墙,使用命令安装
安装firewalld 防火墙:
#yum install firewalld
开启服务:
#systemctl start firewalld.service
关闭防火墙:
#systemctl stop firewalld.service
开机自动启动:
#systemctl enable firewalld.service
关闭开机制动启动:
#systemctl disable firewalld.service
使用firewall-cmd 命令查看状态:
#firewall-cmd --state //running 表示运行
7、修改selinux
对于强制访问控制的实现
# vim /etc/sysconfig/selinux
SELINUX=disabled
重启才能生效,重启后检查
#sestatus -v
SELinux status: disabled
表示已经关闭了
8、NTP时钟与主机同步
NTP服务的安装和配置
首先安装ntp
#yum install ntp
安装完毕之后,启动服务
#systemctl start ntpd.service
设置开机自启动
#systemctl enable ntpd.service
修改/etc/ntp.conf文件:
#vim /etc/ntp.conf
注释掉所有server ..*的指向,新添加一条可连接的ntp服务器
server ntp1.aliyun.com iburst
在其他节点上把ntp指向master服务器地址即可。
注意:如果修改不成功直接配置和主节点一样。
server 10.200.90.161 iburst
设置后,重启ntpd服务,用ntpstat来检查效果【大概几秒钟就可以看到效果】
#systemctl restart ntpd
#ntpstat
检查是否已同步,配置完以后5台服务器的时间是同步的。
#date
9、Ssh免密钥登录
查看是否安装openssh和rsync如果没有安装则使用yum安装。
#rpm -qa | grep openssh
#rpm -qa | grep rsync
输入:ssh-keygen -t rsa一路回车即可,生成的密钥写入一个文件中:
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后将其他4台的密钥写入本机的authorized_keys文件,再复制到每台相应的文件中。
注意:复制粘贴的不行,需要用cat * >> * ,命令才能生效。
验证:
#ssh SNameNode