企业大数据平台二：企业大数据平台环境准备

企业大数据平台二：企业大数据平台环境准备

标签（空格分隔）： 企业大数据平台

---

一,Hadoop发型版本

1，apache版本–开源版本
2，Cloudera版本:解决各个框架的兼容性问题和版本选择，修复了企业中一些常见的问题

http://archive.cloudera.com/cdh5/cdh/
5.3.x--最稳定
CM 5.3.x:集群管理工具
http://archive.cloudera.com/cm5/

3，hortonworks版本

zeppelin:http://zeppelin.apache.org/

二，准备工作

1，安装规划
a,IP地址，主机名，映射
b,防火墙，端口，selinux
c,目录
–HDFS
NN：/data01/dfs/nn /data02/dfs/nn—dfs.namenode.name.dir
DN：/data01/dfs/dn /data01/dfs/dn—dfs.datanode.data.dir
–Zookeeper
datadir
–Kafka
dataDir
–所有框架组件的日志目录

2，机器
–磁盘阵列
系统盘：安装系统以及相关软件数据（raid1:将2块硬盘映射成一块磁盘–系统备份）
数据盘：存储数据/JBOD(提高性能)/raid 0

3,操作系统
–CentOS 6.x 64位
–RedHat 6.4 64位

选择桌面版本
语言选择英文（中文容易出现问题）

4,–ip地址：集群所有机器的IP地址
尽可能在同一个网段上
尽可能，交换机在同一个机架上

192.168.252.141
192.168.252.142
192.168.252.143

5,–设置主机名称

vi /etc/sysconfig/network

cdh001.cluster.com--192.168.252.141
cdh002.cluster.com--192.168.252.142
cdh003.cluster.com--192.168.252.143

6,–设置IP和hostname的映射

192.168.252.141 cdh001.cluster.com cdh001
192.168.252.142 cdh002.cluster.com cdh002
192.168.252.143 cdh003.cluster.com cdh003

7,禁用IPV6地址（生产环境）

vi /etc/modprobe.d/dist.conf

echo "          " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

需要重启生效

8，创建普通用户

adduser cluster
passwd cluster

设置sudo权限

chmod u+x /etc/sudoers    //添加写权限

vi /etc/sudoers
第一行输入：
cluster ALL=(root)NOPASSWD:ALL

chmod u-x /etc/sudoers    //收回写权限

9,关闭防火墙

sudo service iptables stop   //临时生效
sudo chkconfig iptables off  //永久生效

10,禁用sselinux

sudo vi /etc/sysconfig/selinux

SELINUX=disabled

需要重启生效

11,卸载系统自带的OpenJdk

sudo rpm -qa|grep java
sudo rpm -e --nodeps xxxxxxxxxxx

12,设置文件打开数量和用户最大进程数

ulimit -a   //查看文件打开数量
ulimit -u   //查看用户最大进程数

sudo vi /etc/security/limits.conf

*               soft    nofile            32768
*               hard    nofile            1048576
*               soft    nproc            65536
*               hard    nproc            65536
*               soft    memlock            unlimited
*               hard    memlock            unlimited

13,集群时间同步
–找一台服务器作为时间服务器：cdh001.cluster.com

sudo vi /etc/ntp.conf

restrict 192.168.252.0 mask 255.255.255.0 nomodify notrap
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

sudo vi /etc/sysconfig/ntpd
SYNC_HWCLOCK=yes

sudo service ntpd start

sudo chkconfig ntpd on

–在其他服务器上设置定时任务

crontab -e
---------
*/10 * * * * /usr/sbin/ntpdate cdh001.cluster.com
---------
service crond restart