Linux之Hadoop伪分布式安装

1.先上传hadoop的安装包到服务器上去

2.安装hadoop至app文件下

tar -zxcf  hadoop-2.4.1.tar.gz  -C  app/ 

 3.修改配置文件

（1）在Hadoop目录的etc配置文件中hadoop文件下进行修改配置操作

cd   $HADOOP_HOME/etc/hadoop（其中$HADOOP_HOME为你自己实际目录名称）

（2） 配置hadoop-env.sh，加入JAVA_HOME

vim hadoop-env.sh

#加入具体Java路径

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

（3） 配置core-site.xml，配置hadoop启动项

在configuration标签中加入如下配置

    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的主节点（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hadoop-2.4.1/tmpdata</value>
    </property>

（4）配置hdfs-site.xml，配置运行的细节

在configuration标签中加入如下配置

    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

（5）配置mapred-site.xml，指定mr运行框架

先改名，将mapred-site.xml.template改名为mapred-site.xml

mv   mapred-site.xml.template   mapred-site.xml

进入vim mapred-site.xml，在configuration标签中加入如下配置

    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

（6）配置yarn-site.xml，指定yarn的细节

在configuration标签中加入如下配置

    <!-- 指定YARN的主节点（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

       <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>20480</value>
   </property>
   <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>2048</value>
   </property>
   <property>
      <name>yarn.nodemanager.vmem-pmem-ratio</name>
      <value>2.1</value>

4.将hadoop添加到环境变量

打开系统配置文件

vim /etc/proflie

加入hadoop配置信息

 export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新加载配置文件

source /etc/profile

5. 格式化主节点namenode

hadoop namenode -format

 6.启动hadoop

先启动HDFS

start-dfs.sh

再启动YARN

start-yarn.sh 

7.验证是否启动成功 

使用jps命令验证当前进程

节点已经正常启动，我们可以访问下面地址（192.168.2.100自己的系统IP地址） 进一步验证

http://192.168.2.100:50070 （HDFS管理界面）

 http://192.168.2.100:8088 （MR管理界面）