Hadoop单机版安装

hadoop单机版安装流程如下：

1. 创建一个用于管理hadood的用户（可新建或者使用已有的用户）
2. 安装并配置ssh免密码登陆
3. 安装Java环境
4. 下载hadoop并配置环境变量
5. 配置相关的Hadoop配置
6. 验证hadoop安装并启动

创建先的用的用户
没有用户则通过useradd username # 用户名 passwd username # 设置密码
已存在可用的用户则直接切换当前用户：su username

安装并配置ssh免密码登陆
使用ssh-keygen -t rsa 或 注：使用ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa命令可避免交互式操作。
在节点上将公钥拷到一个特定文件authorized_keys中。

cd ~
cd .ssh/
cp id_rsa.pub authorized_keys

安装Java环境
下载指定的jdk版本并上传到服务器并解压：tar zxf 你的jdk.tar.gz
jdk下载地址为：

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html

设置PATH和JAVA_HOME变量，添加以下命令到vim ~/.bash_profile文件。

export JAVA_HOME=/usr/local/jdk
export PATH=PATH:$JAVA_HOME/bin 

验证Java是否安装成功：

下载hadoop并配置环境变量
hadoop下载地址为：https://hadoop.apache.org/releases.html
将hadoop下载并解压

配置hadoop的环境变量vim ~/.bash_profile在base_profile文件追加一下内容：

 1. List item

export HADOOP_HOME=/app/hadoop/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

然后刷新配置环境：source ~/.bash_profile
通过hadoop version检查Hadoop是否可以正常工作。

以上图所示表示正常。

配置相关的Hadoop配置
hadoop的配置文件所在位置为hadoop所安装的根目录etc/hadoop目录下，简单配置如下：

1. 配置hadoop-env.sh，重新选择jdk, export JAVA_HOME=/usr/local/jdk1.7.0_71
   
2. 配置core-site.xml
   core-site.xml主要用于配置读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小。
   在 configuration中新增一下配置：

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.</description>
  </property>

3. 配置hdfs的配置hdfs-site.xml

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>file:/Users/luchengwen/data/hadoop/data/datanode </value>
 </property>
  
 <property>
    <name>dfs.data.dir</name> 
    <value>file:/Users/data/hadoop/data/datanode </value> 
 </property>
 <property>
  <name>dfs.data.dir</name> 
  <value>file:/Users/data/hadoop/data/tmp </value> 
</property>

4. 配置yarn，具体配置文件在yarn-site.xml

   <property>
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value>
   </property>

5. 配置mapreduce，具体配置文件在mpred-site.xml

 <property> 
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>

验证hadoop安装并启动
格式化一个新的分布式文件系统：

bin/hadoop namenode -format

启动hadoop(启动脚本在sbin目录下)：

./start-all.sh

通过页面检查是否成功：
浏览NameNode和JobTracker的网络接口，它们的地址默认为：http://127.0.0.1:8088/cluster/apps/RUNNING

通过jps检查是否启动成功：

详细的配置请参考官方文档，官方连接为