第一章 Hadoop 完全分布式安装

1、安装Hadoop

hadoop-2.6.0.tar.gz网盘：https://pan.baidu.com/s/1bguO22yj38HZQS2aQt-03Q 

(1) 下载 hadoop-2.6.0.tar.gz压缩包，将压缩包解压到 /home/hduser 目录下，输入命令：

#进入 HOME 目录即 ："/home/hduser"

cd ~
tar -zxvf hadoop -2.6.0.tar.gz

 (2）重命名为 hadoop,输入命令：

mv hadoop-2.6.0 hadoop

 (3）配置hadoop 环境变量,输入命令：

sudo gedit /etc/profile

 将以下3行脚本增加到profile内：

#hadoop
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

保存关闭，最后输入命令使配置生效：

source /etc/profile

注意：node2、node3都要按以上步骤配置。（配置，配置，配置，重要的事情说三遍）

 2、配置 Hadoop

 (1) hadoop-env.sh文件用于指定 JDK 路径。

[hduser@node1 ~]$ cd ~/hadoop/etc/hadoop
[hduser@node1 hadoop]$ gedit hadoop-env.sh

然后增加如下内容指定 JDK 路径:

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64

 (2) yarn-env.sh :第二代Hadoop 新增加的 YARN 框架

[hduser@node1 hadoop]$ gedit yarn-env.sh

然后在文件末尾增加如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64

 (3) slaves :用于增加 slaves 节点即 DataNode节点

[hduser@node1 hadoop]$ gedit slaves

打开并清空原内容，然后输入如下内容：

node2
node3

表示 node2、node3 作为  slave 节点

 (4) core-site.xml: 该文件是 Hadoop 全局配置。

[hduser@node1 hadoop]$ gedit core-site.xml

打开并在<configuration>元素中配置属性如下：

<configuration>
   <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:9000</value>
 </property>
 <property>
    <name>hadoop:tmp.dir</name>
    <value>file:/home/hduser/hadoop/tmp</value>
 </property>
</configuration>

这里给出了两个常用的配置属性。fs.defaultFS 表示客户端连接 HDFS 时，默认的路径前缀，9000是 HDFS 工作的端口。hadoop.tmp.dir 如不指定会保存到系统的默认临时文件目录/tmp 中。

(5) hdfs-site.xml: 该文件是 HDFS 的配置。