ubuntu安装hadoop（单节点）

一丶安装jdk 

    说明：hadoop是使用java开发的所以必须安装jdk   

     安装步骤：   ubuntu安装jdk   

二丶设置ssh无密码登录

    说明：hadoop必须通过ssh与本地计算机以及其他主机连接，所以必须设置ssh

    安装步骤：

        1.安装ssh     sudo apt-get install ssh

        2.安装rsync   sudo apt-get install rsync

        3.ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

            

             产生秘钥文件在/root/.ssh/中

          4.查看产生的秘钥

            ll ~/.ssh

          5.将产生的秘钥放置到许可文件中

           cat ~/.ssh/id_dsa.pub  >> ~/.ssh/authorized_keys

三丶下载安装hadoop

         下载hadoop ：hadoop下载地址

          解压:tar -zxvf hadoop-2.6.5.tar.gz 

          配置环境变量

#设置HADOOP_HOME 为hadoop的安装路径
export HADOOP_HOME=/home/lzd/software/hadoop-2.6.5

#设置PATH
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#设置HADOOP其他环境变量
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

#链接库的相关设置
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

四丶修改hadoop的配置设置文件 文件路径在：hadoop安装路径/etc/hadoop

    1.编辑hadoop-env.sh    

      修改export JAVA_HOME=/home/lzd/software/jdk1.8.0_65

    2.设置core-site.xml    设置HDFS的默认名称

    3.设置yarn-site.xml   这个歌文件含有MapReduce2（YARN）相关的配置

    4.设置mapred-site.xml  用于监控Map与Reduce程序的JobTreacker任务分配情况以及TaskTracker任务运行情况

     如果没有此文件则复制模板文件  ：sudo cp mapred-sitexml.template   mapred-site.xml

设置mapreduce框架为yarn

    

    5.设置hdfs-site.xml  用于HDFS分布式文件系统

    a.设置blocks副本备份数量

<property>
     <name>dfs.relication</name>
     <value>3</value>
</property>

b.设置namenode数据目录存储目录

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/lzd/software/hadoop-2.6.5/hadoop_data/hdfs/namenode</value>

</property>

c.设置datanode数据存储

<property>
     <name>dfs.datanodedata.dir</name>
     <value>file:/home/lzd/software/hadoop-2.6.5/hadoop_data/hdfs/datanode</value>
 </property>

    6.创建并格式化HDFS目录

在hadoop安装目录下  创建数据存储目录

sudo mkdir -p hadoop_data/hdfs/namenode
sudo mkdir -p hadoop_data/hdfs/datanode

将hadoop目录所有者改为lzd 

sudo chown lzd:lzd -R /home/lzd/software/hadoop-2.6.5

将HDFS进行格式化

hadoop namenode -format

    7.启动hadoop

方式一：分别启动

start-dfs.sh
start-yarn.sh

方式二：同时启动

start-all.sh

测试：访问hadoop  MapReduce web界面

http://localhost:8088/

测试：访问hadoop hdfs web界面

http://localhost:50070/