大数据集群环境准备

既然是集群，就应该有多台服务器，可以自己电脑安装虚拟机，也可以购买云服务器（成本有点高）。下面写一个多个服务器建立大数据集群环境的操作：
1.关闭服务器的防火墙 ，命令：
service iptables stop
查看是否关闭：
chkconfig iptables off

2.关闭服务器的selinux
Selinux是一个极其复杂的Linux内核模块，具体信息可以网上搜一下，这里只写一下关闭方式：
注：一些云服务器，selinux本身就是关闭的，比如阿里云 和腾讯云都是关闭状态的！！
vim /etc/selinux/config
将： SELINUX=enforcing 注释掉； 添加 SELINUX=disabled

3.更改服务器的主机名
修改命令：
vim /etc/sysconfig/network
加入如下：
HOSTNAME=xu01.hadoop.com

服务器2：
HOSTNAME=xu02.hadoop.com

服务器3：
HOSTNAME=xu03.hadoop.com
以此类推，

注： 云服务器的的HOSTNAME，官方一般不建议修改，会有不少问题，所以建议就用现有的hostname名

4.服务器之间做ip映射
在每台服务器上都执行 ：
vim /etc/hosts
将所有服务器都进行配置，比如我有三台服务器，配置文件就是
192.168.77.100 xu01.hadoop.com xu01
192.168.77.110 xu02.hadoop.com xu02
192.168.77.120 xu03.hadoop.com xu03
注： 这里的 xu01.hadoop.com和 xu01 都表示 ： 192.168.77.100，这样写的目的，就是为了好记，用的时候，可以不使用ip，而用这种方式。

修改文件后，每台服务都进行重启，命令：
reboot -h now

5.服务器间进行免密码登录
第一步：三台机器生成公钥与私钥
在三台机器执行以下命令，生成公钥与私钥
ssh-keygen -t rsa
执行该命令之后，按下三个回车即可

公钥私钥的路径如下：

第二步：拷贝公钥到同一台机器
比如三台服务器， 第一台服务器，将公钥拷贝给自己，另外两台服务器，将公钥拷贝到第一台，拷贝命令：
第一台服务执行： ssh-copy-id xu01.hadoop.com
第二台服务执行： ssh-copy-id xu02.hadoop.com
第三台服务执行： ssh-copy-id xu03.hadoop.com

然后，复制第一台的公钥集合，拷贝到另外两台服务器上：
在第一台服务器上执行以下命令：
scp /root/.ssh/authorized_keys xu02.hadoop.com:/root/.ssh 公钥集拷贝到第二台服务；
scp /root/.ssh/authorized_keys xu03.hadoop.com:/root/.ssh 公钥集拷贝到第三台服务；

拷贝过程中，会让输入相应服务的登录密码。

6.时钟同步：
时钟同步，采用网络同步即可：
注：通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
这里以阿里云的时钟同步为例：
在服务器上执行：
crontab -e
添加如下内容：
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
表示定时任务每分钟执行一次

注：具体的信息配置含义，可以查询一下 Cron 表达式

还有一种方式是，通过某一台机器进行同步，因为相对网络时钟同步，这种方法用的比较少，这里就不写了。

到这里，集群环境已经基本准备好了！！