Hadoop运行环境搭建

1环境搭建

基本配置：centos6.5
主机内存：16g
虚拟机版本：12pro

1.1 虚拟机网络模式设置为NAT

最后，重新启动系统。

[root@hadoop101 ~]# sync
[root@hadoop101 ~]# reboot

1.2 克隆虚拟机

1）克隆虚拟机

2）启动虚拟机

1.3 修改为静态ip

1）在终端命令窗口中输入
[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules
进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址

2）修改IP地址
[root@hadoop101 /]#vim /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改的内容有5项：
IPADDR=192.168.1.101
GATEWAY=192.168.1.2
ONBOOT=yes
BOOTPROTO=static
DNS1=192.168.1.2
（1）修改前

（2）修改后

：wq 保存退出
3）执行service network restart

4）如果报错，reboot，重启虚拟机

1.4 修改主机名

1）修改linux的hosts文件
（1）进入Linux系统查看本机的主机名。通过hostname命令查看
[root@hadoop ~]# hostname
hadoop100
（2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/sysconfig/network文件
#vi /etc/sysconfig/network

文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop101
注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
（4）保存退出。
（5）打开/etc/hosts
vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
（6）并重启设备，重启后，查看主机名，已经修改成功
2）修改window7的hosts文件
（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110

1.5 关闭防火墙

1）查看防火墙开机启动状态
chkconfig iptables --list
2）关闭防火墙
chkconfig iptables off

1.6 在opt目录下创建文件

1）创建atguigu用户
在root用户里面执行如下操作
[root@hadoop101 opt]# adduser atguigu
[root@hadoop101 opt]# passwd atguigu
更改用户 test 的密码 。
新的 密码：
无效的密码： 它没有包含足够的不同字符
无效的密码： 是回文
重新输入新的 密码：
passwd： 所有的身份验证令牌已经成功更新。
2）设置atguigu用户具有root权限

• 修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示： ##Allow root to run any commands anywhere
• root ALL=(ALL) ALL
• atguigu ALL=(ALL) ALL
• 修改完毕，现在可以用atguigu帐号登录，然后用命令 su - ，可获得root权限进行操作。

3）在/opt目录下创建文件夹
（1）在root用户下创建module、software文件夹
mkdir module
mkdir software
（2）修改module、software文件夹的所有者
[root@hadoop101 opt]# chown atguigu module
[root@hadoop101 opt]# chown atguigu software
[root@hadoop101 opt]# ls -al
总用量 24
drwxr-xr-x. 6 root root 4096 4月 24 09:07 .
dr-xr-xr-x. 23 root root 4096 4月 24 08:52 …
drwxr-xr-x. 4 atguigu root 4096 4月 23 16:26 module
drwxr-xr-x. 2 root root 4096 3月 26 2015 rh
drwxr-xr-x. 2 atguigu root 4096 4月 23 16:25 software

1.7 安装jdk

1）卸载现有jdk
（1）查询是否安装java软件：
rpm -qa|grep java
（2）如果安装的版本低于1.7，卸载该jdk：
rpm -e 软件包
2）用filezilla工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

3）在linux系统下的opt目录中查看软件包是否导入成功。
[root@hadoop101opt]# cd software/
[root@hadoop101software]# ls
jdk-7u79-linux-x64.gz hadoop-2.7.2.tar.gz
4）解压jdk到/opt/module目录下
tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/
5）配置jdk环境变量
（1）先获取jdk路径：
[root@hadoop101 jdk1.7.0_79]# pwd
/opt/module/jdk1.7.0_79
（2）打开/etc/profile文件：
[root@hadoop101 jdk1.7.0_79]# vi /etc/profile
在profie文件末尾添加jdk路径：
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
（3）保存后退出：
:wq
（4）让修改后的文件生效：
[root@hadoop101 jdk1.7.0_79]# source /etc/profile
（5）重启（如果java –version可以用就不用重启）：
[root@hadoop101 jdk1.7.0_79]# sync
[root@hadoop101 jdk1.7.0_79]# reboot
6）测试jdk安装成功
[root@hadoop101 jdk1.7.0_79]# java -version
java version “1.7.0_79”

1.8 安装Hadoop

1）进入到Hadoop安装包路径下：
[root@hadoop101 ~]# cd /opt/software/
2）解压安装文件到/opt/module下面
[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
3）查看是否解压成功
[root@hadoop101 software]# ls /opt/module/
hadoop-2.7.2
4）配置hadoop中的hadoop-env.sh
（1）Linux系统中获取jdk的安装路径：
[root@hadoop101 jdk1.7.0_79]# echo KaTeX parse error: Expected 'EOF', got '#' at position 176: …1 hadoop-2.7.2]#̲ pwd /opt/modul…PATH:$HADOO{P}_{H}OME/binexportPATH=$PATH:$HADOOP_HOME/sbin
（3）保存后退出：
:wq
（4）让修改后的文件生效：
root@ hadoop101 hadoop-2.7.2]# source /etc/profile
（5）重启(如果hadoop命令不能用再重启)：
root@ hadoop101 hadoop-2.7.2]# sync
root@ hadoop101 hadoop-2.7.2]# reboot

2 Hadoop运行模式

1）官方网址

（1）官方网站：
http://hadoop.apache.org/
（2）各个版本归档库地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
（3）hadoop2.7.2版本详情介绍
http://hadoop.apache.org/docs/r2.7.2/

2）Hadoop运行模式

（1）本地模式（默认模式）：
不需要启用单独进程，直接可以运行，测试和开发时使用。
（2）伪分布式模式：
等同于完全分布式，只有一个节点。
（3）完全分布式模式：
多个节点一起运行。