Hadoop环境搭建

1. 首先 配置Java环境变量：

   先将jdk包用FileZilla上传到linux系统

tar -xvf jdk-8u144-linux-x64.tar.gz -C ~/training/

tar 解压命令， x表示解压，v表示显示解压过程，f表示使用档案的名字 ~表示home目录， 表示解压到training目录

解压之后配置环境变量：

使用vi 打开 .bash_profile。 .bash_profile是隐藏的目录，ls命令是看不到的，使用ls -a列出所有目录即可

vi ~/.bash_profile java_home的位置防止出错，去java home 目录下pwd 列一下当前目录copy一下即可：

PATH=$PATH:$HOME/bin

export PATH

JAVA_HOME="/root/training/jdk1.8.0_144"

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH
export PATH

切忌 等号前后不要有空格，否则会出错的，因为java写习惯了，总喜欢加空格，最后总是出错。

source ~/.bash_profile 使环境变量生效。

java -version 列出java版本，表示java环境变量配置好了。

2. 配置Hadoop环境变量 

  首先去官网下载hadoop压缩包 点击打开链接

   将下载好的hadoop压缩包和jdk压缩包一样上传到Linux系统，用命令解压的到目标文件夹：

tar -xvf hadoop-2.7.3.tar.gz  -C ~/training/

解压好之后，进到解压的目录下，使用命令pwd列出文件所在的目录，copy一下：

之后 使用vi命令： vi ~/.bash_profile:

HADOOP_HOME="/root/training/hadoop-2.7.3"

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

使用source ~/.bash_profile 使命令生效

3. 搭建Hadoop本地模式：

    Hadoop环境分为三种模式，一种是本地模式，一种是伪分布式，还有一种是全分布式。 伪分布式一般适用于开发，生产环境上是全分布式，伪分布式一台机器就可以了，但是全分布式至少3台机器。

如果想搭建本地模式很简单只需要改一个文件，进入/root/training/hadoop-2.7.3/etc/hadoop 这个个路径下，

 vi hadoop-env.sh,修改里面的export JAVA_HOME="" 指向你jdk的路径即可

如下：

顺便介绍一个命令，如果你不记得你的JAVA_HOME的地址，可以用一个命令查看：echo $JAVA_HOME 

最后各式一下hadoop, 输入命令： hdfs namenode -format 即可

最后 start-all.sh即可

4 . 伪分布式环境搭建

      有了上面的本地模式，搭建伪分布式模式就相对简单的多：只需要配置/root/training/hadoop-2.7.3/etc/hadoop这个目录下的的文件即可：

   (1) hadoop-env.sh

            这个文件中的jdk的安装路径，在上面的本地模式已经配置过。

    (2) hdfs-site.xml

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

    这个属性设置的是HDFS文件的副本个数，默认为因为我们是伪分布式，只有一台机器，nameNode 和DataNode都在一台机器上，所以设置为1.

（2）core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/root/training/hadoop-2.7.3/tmp</value>
</property>

这两个参数，第一个设置的是HDFS的访问接口，第二个是HDFS的存放目录

（3）mapred-site.xml

这个文件是不存在的，但是有这个文件mapred-site.xml.template这个文件，我们可以复制一个：

  cp mapred-site.xml.template mapred-site.xml

这样在里面添加： 这个表示的是MapReduce的运行环境

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

（4）yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>

<property>
  <name>yarn.nodemanager.aux-servsuoyuices</name>
  <value>mapreduce_shuffle</value>
</property>

第一个是yarn的主节点，第二个表示MapReduce的运行方式

配置完之后：hdfs namenode -format

start-all.sh

即可启动hadoop

输入命令jps，列出所有的进程如下：

5. 全分布式：

全分布式至少需要3台机器，我们以3台机器为例，一台运行NameNode，另外两台运行DataNode

配置起来跟伪分布式差不多需要更改几处文件

hdfs-site.xml

<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>

数据的副本数就不要是1了，改成2

添加另外两台dataNode，需要更改文件slaves：

这个里面原来默认就是你本机，需要将localHost删除，添加你的另外两台机器的ip即可，这台机器作为主机主节点运行NameNode，其他两台机器运行DataNode

三台机器都要这么配置那就太麻烦了，配置好了一个之后可以copy到另外的机器：

scp -r hadoop-xx root@ip:/root/xxx/

这个命令的含义就是将hadoop-xx 这个文件copy到主机ip上，名字是root。：后面是路径

6. 免密登录

 在启动hadoop的时候，你会发现中间会让你输入好几遍密码，如果好几十台烦都烦死了，所以需要配置免密登录。

免密登录，下次再说！