1、hadoop环境搭建

安装jdk

1、将本地jdk文件上传到linux服务器（适用于想使用本地的jdk，也可自行下载），前提将pscp放到windows/system32下

       pscp E:\jdk-7u65-linux-i586.tar.gz hadoop@linuxip地址:/home/hadoop;此处hadoop为Linux的用户名，输入密码，上传成功后，用用户名登录密码

2、创建app目录用于存放jdk的解压文件

      mkdir app

       tar -zxvf jdk-7u65-linux-i586.tar.gz -C app/

3、修改环境变量

     sudo vi /etc/profile

     #在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin

        #刷新配置
source /etc/profile

       验证是否成功 java -version

安装hadoop

1、上传hadoop文件到linux服务器

      pscp E:\hadoop-2.4.1.tar.gz  hadoop@linuxip地址:/home/hadoop;

2、解压hadoop文件

        tar -zxvf hadoop-2.4.1.tar.gz -C app/

3、配置hadoop（进入app/hadoop-2.4.1/etc/hadoop/下）
第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

第二个：core-site.xml


<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000/</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/data/</value>
    </property>

第三个：hdfs-site.xml   hdfs-default.xml  (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
    </property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
    </property>

第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>wtz</value>
    </property>
<!-- reducer获取数据的方式 -->
    <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
     </property>

4、将hadoop添加到环境变量

vim /etc/proflie
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
export HADOOP_HOME=/home/hadoop/app//hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


source /etc/profile

5、格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)

6、启动hadoop
先启动HDFS
sbin/start-dfs.sh

再启动YARN
sbin/start-yarn.sh

7、验证是否启动成功
使用jps命令验证


http://localhost:50070 （HDFS管理界面）
http://localhost:8088 （MR管理界面）

8、设置ssh无密码登录

ssh-keygen -t rsa

cat id_rsa.pub > >authorized_keys

如果没有authorized_keys，可以新建一个authorized_keys，并将权限修改为600

touch authorized_keys

chmod 600 authorized_keys

注意：如果是在服务器，可以删除hadoop下share下的doc

rm -rf doc

如果是在阿里云或腾讯云配置，若修改hostname，以ubuntu为例

sudo vi /etc/hostname

内容为主机名：hadoop123

sudo vi /etc/hosts

内网ip地址 主机名

若是伪分布式

修改slaves内容为主机名，重启即可

若出现如下SSH提示，输入yes即可。

启动Hadoop时的SSH提示

启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。该 WARN 提示可以忽略，并不会影响正常使用（该 WARN 可以通过编译 Hadoop 源码解决）。

启动 Hadoop 时提示 Could not resolve hostname

如果启动 Hadoop 时遇到输出非常多“ssh: Could not resolve hostname xxx”的异常情况，如下图所示：

启动Hadoop时的异常提示

这个并不是 ssh 的问题，可通过设置 Hadoop 环境变量来解决。首先按键盘的 ctrl + c 中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP_HOME 为 Hadoop 的安装目录）：

   
   
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

Shell

保存后，务必执行 source ~/.bashrc 使变量设置生效，然后再次执行 ./sbin/start-dfs.sh 启动 Hadoop。

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

通过jps查看启动的Hadoop进程

Hadoop无法正常启动的解决方法

一般可以查看启动日志来排查原因，注意几点：

• 启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
• 每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，对比下记录的时间就知道了。
• 一般出错的提示在最后面，通常是写着 Fatal、Error、Warning 或者 Java Exception 的地方。
• 可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。

此外，若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：

   
   
# 针对 DataNode 没法启动的解决方法
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启