Hadoop伪分布式安装

一、安装配置JDK

-》解压：$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/moduels/

-》配置环境变量：

vi /etc/profile

##JAVA_HOME

export JAVA_HOME=/opt/moduels/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

生效文件：

# source /etc/profile

查看是否配置成功：

$ java -version

二、配置Hadoop

-》解压Hadoop-2.50 tar -zxvf Hadoop-2.50.tar.gz

-》修改etc/hadoop/hadoop-env.sh，mapred-env.sh，yarn-env.sh文件修改指定Java的安装路径

--------------------------------------------------------HDFS部分配置--------------------------------------------------

-》修改ect/hadoop/core-site.xml文件

-》指定namenode主节点所在的机器位置及内部交互的端口号，9000是Hadoop1.x系列使用

的端口，Hadoop2.x使用的8020

<property>

<name>fs.defaultFS</name>

<value>hdfs://bigdata-senior01.ibeifeng.com:8020</value>

</property>

-》指定Hadoop系统生成文件的临时目录地址，自定义路径替换

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/moduels/hadoop-2.5.0/data/tmp</value>

</property>

-》修改etc/hadoop/hdfs-site.xml文件

-》指定副本个数，默认副本数3个，由于是伪分布式一个节点，则配置1个副本数

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

-》指定secondarynamenode机器位置和交互端口号50090

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>HOST1:50090</value>

</property>

-》指定默认不检测用户权限，则可以访问hdfs文件系统的tmp目录

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

-》指定Hadoop的http静态用户名，可配置项，随意

<property>

<name>hadoop.http.staticuser.user</name>

<value>GodLike</value>

</property>

-》修改etc/hadoop/slaves文件，作用配置datanode的节点IP，有几台datanode就配置几台

-》添加datanode的所在机器位置主机名或IP地址

HOST1

-》格式化namenode在格式化之前必须先创建Hadoop生产文件的临时目录地址，切记不要格式

化多次

$ bin/hdfs namenode -format

-》注意：

配置完历史服务器和聚合之后需要重启HDFS和yran的所有进程，才可以生效

先启动HDFS再启动yarn，因为yarn要依赖于HDFS存储日志文件

-》启动namenode和datanode

$ sbin/hadoop-daemon.sh start namenode

$ sbin/hadoop-deamon.sh start datanode

$ sbin/hadoop-deamon.sh start secondarynamenode

-》查看

使用jps查看java进程

HDFS外部访问地址，Hadoop2.X的端口50070，Hadoop3.X的端口

号:9870 http://主机IP:端口

secondarynamenode外部访问地址 http://主机IP:50090

出现无法访问情况可能是防火墙导致的，也有可能是seLinux导致的

------------------------------------------------------------MapReduce部分配置--------------------------------------------

-》修改etc/hadoop/mapred-site.xml.template，mapred-site.xml去掉后缀

-》代表MapReduce运行yarn在之上,基本所有的计算模型框架只要结合Hadoop使用的话都··

是运行在yarn系统平台上面的

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

-》MapReduce自带历史服务器

<property>

<name>mapreduce.jobhistory.address</name>

<value>bigdata-senior01.ibeifeng.com:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>bigdata-senior01.ibeifeng.com:19888</value>

</property>

-》启动

$ sbin/mr-jobhistory-daemon.sh start historyserver

------------------------------------------------------------YARN部分配置--------------------------------------------

-》修改etc/hadoop/yarn-site.xml文件

-》添加一个MapReduce运行的服务,在nodemanager上面开启一个Mapreduce_shuffle服

务。

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

-》指定resourcemanager主节点的机器位置，在单节点上面可配可不配

<property>

<name>yarn.resourcemanager.hostname</name>

<value>HOST1</value>

</property>

-》指定开启聚合功能以及日志在HDFS上保存期限，秒：单位、

---》允许yarn将MR产生的日志文件上传到HDFS对应的目录中。

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

--》日志的有效周期

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>106800</value>

</property>

-》启动：

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

-》外部访问UI界面，端口号8088

http://主机IP:8088

三、测试

-》测试MapReduce小程序WordCount

-》运行wordconut单词统计程序测试环境

-》在HDFS上创建对应的路径

-》$ bin/hdfs dfs -mkdir -p mapreduce/input

-》在MapReduce中output的输出路径是不需要提前存在的

-》在yarn运行job时候都必须要打jar包

-》执行Wordcount程序：

$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar

wordcount /user/ admin/mapreduce/input /user /admin/mapreduce/output

-》part-r-00000其中r代表reduce的输出结果

-》查看结果集：$ bin/hdfs dfs -text /user/admin/mapreduce/output/p*

admin是当前操作hdfs文件系统的用户，即是linux当前登录的用户学过linux的就知道了