00hadoop环境准备

00hadoop环境准备

1.实验前规划三台主机

主机	hostname	domain
192.168.124.110	node1.hadoop.com	node1
192.168.124.120	node2.hadoop.com	node2
192.168.124.130	node3.hadoop.com	node3

克隆虚拟机
1，正常启动
2，进入虚拟机删除两个文件

a)    rm /etc/udev/rules.d/70-persistent-net.rules
b)    rm /etc/sysconfig/network-scripts/ifcfg-eth0

3，启动虚拟机 reboot
4，查看网络设备信息
5，保存网卡配置信息

6，新建一个网卡的配置文件

a)    cat /etc/udev/rules.d/70-persistent-net.rules

7，vi /etc/sysconfig/network-scripts/ifcfg-eth0 填写以下信息

DEVICE=eth0
HWADDR=00:50:56:36:ee:a8 需要修改
ONBOOT=yes
BOOTPROTO=dhcp

8，重启网卡

service network restart

9，查看分配的ip ifconfig

10，这时候，建议xshell连接ip，并修改网卡为静态ip

DEVICE=eth0
HWADDR=00:50:56:3E:1B:6E
ONBOOT=yes
BOOTPROTO=static
NETMASK=255.255.255.0
IPADDR=192.168.140.137
GATEWAY=192.168.140.2

GATEWAY（网关地址）:

2.统一路径

统一路径：
mkdir -p /export/softwares 存放软件的压缩包
mkdir -p /export/servers 存放软件解压后的路径
cd servers --> mkdir shells 存放脚本

3.三台虚拟机关闭防火墙

1. 即时生效，重启后失效
   开启： service iptables start
   关闭： service iptables stop
2. 重启后生效
   开启： chkconfig iptables on
   关闭： chkconfig iptables off

4.三台机器关闭selinux

永久关闭：

vi /etc/sysconfig/selinux

SELINUX=enforcing 改为 SELINUX=disabled

重启服务reboot

5.三台机器更改主机名

vi /etc/sysconfig/network

HOSTNAME=localhost.localdomain  #修改localhost.localdomain为dw1.com

6.三台机器做主机名与IP地址的映射

vi /etc/hosts

192.168.91.131 dw1.com  dw1
192.168.91.132 dw2.com  dw2
192.168.91.133 dw3.com  dw3

7.创建dw用户

命令：# userdel -r scy 完全删除用户
useradd dw #创建dw用户

passwd dw #创建/更新dw用户密码
visudo #给用户分配sudo权限
dw ALL=(root)NOPASSWD:ALL
yum install lrzsz -y 直接拖拽的ftp传输工具

8.三台机器机器免密码登录

第一步：在三台机器执行以下命令，生成公钥与私钥
		#ssh-keygen -t rsa	(切换为root权限)
第二步：拷贝公钥到同一台机器
		#ssh-copy-id node1
第三步：复制第一台机器的认证到其他机器
		#scp /root/.ssh/authorized_keys node2:/root/.ssh
		#scp /root/.ssh/authorized_keys node3:/root/.ssh
第四步：解决每次ssh连接都需要确认
		# vi /etc/ssh/ssh_config
		StrictHostKeyChecking no

9.三台机器时钟同步

两种方式：
	第一种：如果机器可以联网，直接同步阿里云的时钟服务器即可
	通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
	ntpdate us.pool.ntp.org;
	阿里云时钟同步服务器
	ntpdate ntp4.aliyun.com
	三台机器定时任务
	crontab  -e   
	*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
	或者直接与阿里云服务器进行时钟同步
	crontab -e
	*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
	
	第二种：如果机器都不可以联网，

10.三台机器安装jdk

10.1 root用户

查看自带的openjdk
rpm -qa | grep java
卸载系统自带的openjdk
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps
yum -y install lrzsz （按照软件）
上传jdk并解压然后配置环境变量
说明：为了保持我们的安装环境统一和一致，我们这里创建两个约定俗称的文件夹，来进行我们的软件包的存放和软件的安装
所有软件的安装路径
mkdir -p /export/servers
所有软件压缩包的存放路径
mkdir -p /export/softwares
上传jdk到/export/softwares路径下去，并解压
tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH
修改完成之后记得  source /etc/profile生效  java -version
以下是脚本安装方式

10.2 普通用户

上传jdk到/opt/softwares路径下去，并解压
sudo vi /etc/profile.d/env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

[dw@dw1 software]$ source /etc/profile.d/env.sh 
[dw@dw1 software]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_144

#!/bin/bash

# 第一步解压安装包
tar -zxvf /export/softwares/jdk-8u141-linux-x64.tar.gz -C /export/servers/

cd /export/servers/jdk*
mypath=`pwd`

# 写入环境变量
echo "export JAVA_HOME=$mypath" >> /etc/profile
echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile

# 安装第二台第三台jdk
for m in 2 3
do
 scp -r /export/servers/jdk* node$m:/export/servers/
done

# 配置第二台与第三台的环境变量
for n in 2 3
do 
 ssh node$n "echo 'export JAVA_HOME=$mypath' >> /etc/profile; echo 'export PATH=\$PATH:\$JAVA_HOME/bin' >> /etc/profile"
done