Hadoop2.6.0 单节点安装

在win7下装了virtual box ，在虚拟机中安装了Ubuntu15.04

参考教程：http://www.powerxing.com/install-hadoop/

安装步骤：

我在Ubuntu中创建了一个hadoop用户。

$sudo useradd -m hadoop -s /bin/bash  创建了可以登录的Hadoop用户。并使用/bin/bash作为shell
sudo passwd hadoop 修改密码
sudo adduser hadoop sudo 为Hadoop用户增加管理员权限

一、安装JDK

1.下载安装JDK 版本为1.8.0_60

2.在usr/local目录下创建Java文件夹
    sudo mkdir /usr/local/java
  将下载的jdk压缩包拷贝到Java文件中
  cp jdk_8u60-linux-x86.tar.gz /usr/local/java
3.进入Java目录
  cd /usr/local/java
4.解压压缩包
  sudo tar xvf jdk-8u60...
5.删除压缩包
  sudo rm jdk-....
6.设置jdk环境变量
  这里采用的是全局设置方法，他是所有用户公用的环境变量
 $sudo gedit ~/.bashrc
 export JAVA_HOME=/usr/local/java/jdk1.8.0_60  
 export JRE_HOME=${JAVA_HOME}/jre  
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
 export PATH=${JAVA_HOME}/bin:$PATH
  在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识符”，因为source /etc/profile 时不能识别多余到空格，会理解为是路径一部分。

7.保存退出，并通过命令使脚本生效：

 ：wq

 source ~/.bashrc
8、检验是否安装成功
在终端输入如下命令
java -version
看看是否安装成功
成功则显示如下

二、配置SSH无密码登录

集群、单节点模式都需要用到SSH登陆（类似于远程登陆，你可以登录某台Linux电脑，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

1. sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

1. ssh localhost

如果不配置无密码登录，每次访问都需要输入密码，所以在集群配置中，需要任务分发，即需要配置ssh无密码登录。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit # 退出刚才的 ssh localhost

1. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
2. ssh-keygen -t rsa # 会有提示，都按回车就可以
3. cat id_rsa.pub >> authorized_keys # 加入授权
4. 


此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了

三、安装hadoop

在安装hadoop的过程中，解压时遇到问题

问题原因：源码包在下载过程中被破坏，或者又可以下载下来的知识一个网页

首先查看文件类型来检查下载是否正确：file xxx

如果正确再进行解压，我就是在包没有下载完时就解压了，所以一直出现这个问题。

1.下载解压

我将hadoop安装在了/usr/local中

1. sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
2. cd /usr/local/
3. sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
4. sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

Hadoop解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示命令用法：

1. cd ./hadoop
2. ./bin/hadoop

2.测试运行

解压完成后，hadoop默认的是非分布式模式，非分布式即单Java进程，方便调试。

Hadoop 附带了丰富的例子（运行 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，即将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

 
 
cd /usr/local/hadoop
mkdir input
cp ./etc/hadoop/*.xml input # 将配置文件作为输入文件
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
cat ./output/*          # 查看运行结果

执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次

Hadoop单机模式运行grep的输出结果

Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要将 ./output 删除。

 
 
rm -R ./output

3.伪分布式安装

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml (vim /usr/local/hadoop/etc/hadoop/core-site.xml)，将当中的

<configuration>
</configuration>

修改为下面配置：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同样的，修改配置文件 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

关于Hadoop配置项的一点说明

虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

配置完成后，执行 namenode 的格式化:

  
  
bin/hdfs namenode -format

成功的话，会看到 successfully formatted 的提示，且倒数第5行的提示如下，Exitting with status 0 表示成功，若为 Exitting with status 1 则是出错。若出错（不该如此，请仔细检查之前步骤），可试着加上 sudo, 既 sudo bin/hdfs namenode -format 再试试看。

执行namenode格式化

注意

在这一步以及后面启动 Hadoop 时若提示 Error: JAVA_HOME is not set and could not be found. 的错误，则需要在文件 ./etc/hadoop/hadoop-env.sh 中设置 JAVA_HOME 变量，即找到 export JAVA_HOME=${JAVA_HOME}这一行，改为 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 (就是之前设置的JAVA_HOME位置)，再重新尝试即可。

接着开启 NaneNode 和 DataNode 守护进程。

  
  
sbin/start-dfs.sh

若出现如下SSH提示，输入yes即可。

启动Hadoop时的SSH提示

若你使用的是 Hadoop 2.4.1 64位，则此时可能会出现一连串的warn提示，如 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这个提示，这些warn提示可以忽略，不会影响正常使用。

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: NameNode、DataNode和SecondaryNameNode。（如果SecondaryNameNode没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试；如果 NameNode 或 DataNode 没有启动，请仔细检查之前步骤）。

通过jps查看启动的Hadoop进程

通过查看启动日志分析启动失败原因

有时 Hadoop 无法正确启动，如 NameNode 进程没有顺利启动，这时可以查看启动日志来排查原因，注意几点：

• 启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
• 每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，看下记录的时间就知道了。
• 一般出错的提示在最后面，也就是写着 Fatal、Error 或者 Java Exception 的地方。
• 可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。

成功启动后，可以访问 Web 界面 http://localhost:50070 来查看 Hadoop 的信息。

Hadoop的Web界面

4.遇到的问题

在集群启动时，namenode 和 datanode无法启动，查看日志是dfs/data不存在。查看tmp的文件权限是只读的，不可以写，修改了tmp的写权限，删除tmp， 重新format，可以正常开启集群。不知道是不是这个原因引起的。