虚拟机 CDH集群系统环境准备

说明

为了学习CDH的使用，需要重新配置虚拟机的环境配置并以此做练习和学习，之前有搭好的集群，但是再次搭建还是发现了许多问题，有的知识忘记了，这次做个记录方便日后查看。

操作系统：CentOS 6.5 三台
JDK版本：1.8

系统环境准备

1.网络配置（所有节点）

1.1修改主机名

修改文件/etc/sysconfig/network（重启生效）

1.2修改IP地址

在终端中输入：vi /etc/sysconfig/network-scripts/ifcfg-eth0

编辑完成后，保存退出。重启网络服务

service network restart或/etc/init.d/network restart

然后ping网关，ping外网进行测试。都能ping通表示网络正常

1.3添加主机名和 IP 映射

windows: C:\Windows\System32\drivers\etc\hosts

linux: /etc/hosts

2.配置 SSH 免密登录

第一步:在本地机器上使用ssh-keygen产生公钥私钥对

$ ssh-keygen

第二步:用ssh-copy-id将公钥复制到远程机器中

$  ssh-copy-id -i .ssh/id_rsa.pub  用户名字@192.168.x.xxx

注意: ssh-copy-id 将key写到远程机器的 ~/ .ssh/authorized_key.文件中

第三步: 登录到远程机器不用输入密码

ssh hdp07

可以先将公钥发送到一台机器上再使用远程拷贝

$ scp -r abc root@xxx.xxx.xxx:~

scp authorized_keys hadoop@hdp08:$PWD

3.设置系统启动级别为3（可省略）

 1)如何查看

     runlevel

 2)修改系统启动级别

     /etc/inittab

 0:关机

 1:单用户

 2:多用户无网络

 3:完整的多用户

 4:未使用

 5:图形界面

 6:重启

4.关闭防火墙/关闭 Selinux

4.1关闭防火墙

临时关闭：
service iptables stop
重启后生效：
chkconfig iptables off

4.2关闭 Selinux

临时关闭：
setenforce 0
修改配置文件/etc/selinux/config（重启生效）：
将SELINUX=enforcing改为SELINUX=disabled

查看SELINUX状态：
1、/usr/sbin/sestatus –v
SELinux status: enabled（enabled：开启；disabled：关闭）
2、使用命令：getenforce

5.安装JDK并配置环境变量

1.下载jdk包

1)下载windows --> 上传到linux
	协议: ftp(21):不安全      sftp(22)
		1)crt内置sftp客户端
  			alt+p
 			put -r 文件 (put -r d:/dev/Linux/linux/soft/jdk-8u73-linux-x64.tar.gz)
		2)安装ftp客户端工具(图形界面)
2)下载linux平台
	wget https://download.oracle.com/otn-pub/java/jdk/12.0.1+12/69cfe15208a647278a19ef0990eea691/jdk-12.0.1_linux-x64_bin.tar.gz?AuthParam=1558941046_39750f3f64c514fd1701cc22c279cbb2

3.卸载软件

rpm -qa | grep jdk

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64   

4.解包解压缩

tar -zxvf jdk-8u73-linux-x64.tar.gz -C /opt/

5.配置环境变量

vim /etc/profile

  export JAVA_HOME=/opt/jdk1.8.0_73

  export PATH={JAVA_HOME}/bin:{PATH}   

export:提升为全局变量

6.重新加载配置文件

  source /etc/profile   

6.安装配置MySQL

略

7.同步服务器时间

ntpdate ntp1.aliyun.com

8.下载第三方依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb