1)官方网址
(1)官方网站:
http://hadoop.apache.org/
(2)各个版本归档库地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.4/
(3)hadoop2.7.4版本详情介绍
http://hadoop.apache.org/docs/r2.7.4/
2)Hadoop运行模式
(1)本地模式(默认模式):
不需要启用单独进程,直接可以运行,测试和开发时使用。
(2)伪分布式模式:
等同于完全分布式,只有一个节点。
(3)完全分布式模式:
多个节点一起运行。
3)运行Hadoop 案例
3.1 本地文件运行Hadoop 案例
3.1.1 官方grep案例
1)创建在hadoop-2.7.4文件下面创建一个input文件夹
[zhihua@hadoop101 hadoop-2.7.4]$ mkdir input
2)将hadoop的xml配置文件复制到input
[zhihua@hadoop101 hadoop-2.7.4]$ cp etc/hadoop/*.xml input/
3)执行share目录下的mapreduce程序
[zhihua@hadoop101 hadoop-2.7.4]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar grep input output 'dfs[a-z.]+'
4)查看输出结果
[zhihua@hadoop101 hadoop-2.7.4]$ cat output/*
3.1.2 官方wordcount案例
1)创建在hadoop-2.7.4文件下面创建一个wcinput文件夹
[zhihua@hadoop101 hadoop-2.7.4]$ mkdir wcinput
2)在wcinput文件下创建一个wc.input文件
[zhihua@hadoop101 wcinput]$ touch wc.input
3)编辑wc.input文件
[zhihua@hadoop101 hadoop-2.7.4]$ vim wc.input
hadoop yarn
hadoop mapreduce
zhihua
zhihua
xiaoming
xiaoxiao
daxiong
daxiong
daxiong
4)回到hadoop目录/opt/module/hadoop-2.7.4
5)执行程序:
[zhihua@hadoop101 hadoop-2.7.4]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount wcinput wcoutput
6)查看结果:
[zhihua@hadoop101 hadoop-2.7.4]$ cat wcoutput/p*
daxiong 3
hadoop 2
mapreduce 1
xiaoming 1
xiaoxiao 1
yarn 1
zhihua 2
3.2 伪分布式运行Hadoop案例
3.2.1 启动HDFS并运行MapReduce程序
1)分析:
(1)准备1台客户机
(2)安装jdk
(3)配置环境变量
(4)安装hadoop
(5)配置环境变量
(6)配置集群
(7)启动、测试集群增、删、查
(8)执行wordcount案例
2)执行步骤
(1)配置集群
(a)配置:hadoop-env.sh
修改JAVA_HOME 路径:
(b)配置:core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.4/data/tmp</value>
</property>
(c)配置:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(2)启动集群
(a)格式化namenode(第一次启动时格式化,以后就不要总格式化)
bin/hdfs namenode -format
(b)启动namenode
sbin/hadoop-daemon.sh start namenode
(c)启动datanode
sbin/hadoop-daemon.sh start datanode
(3)查看集群
(a)查看是否启动成功
[root@hadoop101 hadoop-2.7.4]# jps
2761 Jps
2586 NameNode
2686 DataNode
(b)查看产生的log日志
(c)web端查看HDFS文件系统
http://hadoop101:50070/dfshealth.html#tab-overview
注意:如果不能查看,看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html
(4)操作集群
(a)在hdfs文件系统上创建一个input文件夹
[root@hadoop101 hadoop-2.7.4]# hadoop fs -mkdir -p /user/zhihua/input
查看文件夹
[root@hadoop101 hadoop-2.7.4]# hadoop fs -lsr /
(b)将测试文件内容上传到文件系统上
[root@hadoop101 hadoop-2.7.4]# hadoop fs -put wcinput/wc.input /user/zhihua/input
(c)查看上传的文件是否正确
[root@hadoop101 hadoop-2.7.4]# hadoop fs -cat /user/zhihua/input/wc.input
(d)运行mapreduce程序
[root@hadoop101 hadoop-2.7.4]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /user/zhihua/input /user/zhihua/outout
(e)查看输出结果
命令行查看:
[root@hadoop101 hadoop-2.7.4]# hadoop fs -cat /user/zhihua/outout/p*
daxiong 3
hadoop 2
mapreduce 1
xiaoming 1
xiaoxiao 1
yarn 1
zhihua 2
浏览器查看
(f)将测试文件内容下载到本地
[root@hadoop101 hadoop-2.7.4]# hadoop fs -get /user/zhihua/outout/p* ./
(g)删除输出结果
[root@hadoop101 hadoop-2.7.4]# hadoop fs -rm -r /user/zhihua/outout
3.2.2 YARN上运行MapReduce 程序
1)分析:
(1)准备1台客户机
(2)安装jdk
(3)配置环境变量
(4)安装hadoop
(5)配置环境变量
(6)配置集群yarn上运行
(7)启动、测试集群增、删、查
(8)在yarn上执行wordcount案例
2)执行步骤
(1)配置集群
(a)配置yarn-env.sh
配置一下JAVA_HOME
(b)配置yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
(c)配置:mapred-env.sh
配置一下JAVA_HOME
(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
[root@hadoop101 hadoop]# mv mapred-site.xml.template mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(2)启动集群
(a)启动resourcemanager
[root@hadoop101 hadoop-2.7.4]# sbin/yarn-daemon.sh start resourcemanager
(b)启动nodemanager
[root@hadoop101 hadoop-2.7.4]# sbin/yarn-daemon.sh start nodemanager
(c)查看jps
[root@hadoop101 hadoop-2.7.4]# jps
4086 NodeManager
2586 NameNode
3834 ResourceManager
4122 Jps
2686 DataNode
(3)集群操作
(a)yarn的浏览器页面查看
http://hadoop101:8088/cluster
(b)删除文件系统上的output文件
hadoop fs -rm -R /user/zhihua/output
(c)执行mapreduce程序
[root@hadoop101 hadoop-2.7.4]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /user/zhihua/input /user/zhihua/output
(d)查看运行结果
[root@hadoop101 hadoop-2.7.4]# hadoop fs -cat /user/zhihua/output/p*
daxiong 3
hadoop 2
mapreduce 1
xiaoming 1
xiaoxiao 1
yarn 1
zhihua 2
3.2.3 修改本地临时文件存储目录
1)停止进程
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/yarn-daemon.sh stop nodemanager
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/yarn-daemon.sh stop resourcemanager
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/hadoop-daemon.sh stop datanode
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/hadoop-daemon.sh stop namenode
2)修改core-site.xml
3)格式化NameNode
将/opt/module/hadoop-2.7.4路径中的logs文件夹删除掉
[zhihua@hadoop101 hadoop-2.7.4]$ rm -rf logs/
进入到tmp目录将tmp目录中hadoop-atguigu目录删除掉
[zhihua@hadoop101 hadoop-2.7.4]$ rm -rf hadoop-atguigu/
格式化数据:
[zhihua@hadoop101 hadoop-2.7.4]$ bin/hdfs namenode -format
4)启动所有进程
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/hadoop-daemon.sh start namenode
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/hadoop-daemon.sh start datanode
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/yarn-daemon.sh start resourcemanager
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/yarn-daemon.sh start nodemanager
5)查看/opt/module/hadoop-2.7.4/data/tmp这个目录下的内容。
3.2.4 Hadoop配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
(1)默认配置文件:存放在hadoop相应的jar包中
[core-default.xml]
hadoop-common-2.7.4.jar/ core-default.xml
[hdfs-default.xml]
hadoop-hdfs-2.7.4.jar/ hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-2.7.4.jar/ yarn-default.xml
[core-default.xml]
hadoop-mapreduce-client-core-2.7.4.jar/ core-default.xml
(2)自定义配置文件:存放在$HADOOP_HOME/etc/hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
3.2.5 历史服务配置启动查看
1)配置mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
2)查看启动历史服务器文件目录:
[zhihua@hadoop101 hadoop-2.7.4]$ ll sbin/ |grep mr
-rwxr-xr-x. 1 zhihua zhihua 4080 Aug 23 2017 mr-jobhistory-daemon.sh
3)启动历史服务器
[zhihua@hadoop101 hadoop-2.7.4]$ sbin/mr-jobhistory-daemon.sh start historyserver
4)查看历史服务器是否启动
[zhihua@hadoop101 hadoop-2.7.4]$ jps
3521 NameNode
3623 DataNode
3737 ResourceManager
3995 NodeManager
4157 JobHistoryServer
4239 Jps
5)查看jobhistory
3.2.6 日志的聚集
日志聚集概念:应用运行完成以后,将日志信息上传到HDFS系统上。
开启日志聚集功能步骤:
(1)配置yarn-site.xml
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
(2)关闭namenode、datanode 、nodemanager 、resourcemanager和historymanager
(3)启动namenode、datanode 、nodemanager 、resourcemanager和historymanager
(4)删除hdfs上已经存在的hdfs文件
(5)执行wordcount程序
(6)查看日志