Hadoop入门知识学习（一）

Hadoop入门知识（一）

Hadoop简介

Hadoop是Apache旗下的一个用java语言实现开源软件框架，主要解决海量数据的存储和海量数据分析。官网是：hadoop官网

hadoop的优势：

• 高可靠性：Hadoop底层维护了多个数据副本，即使Hadoop某个计算元素或者存储出现故障也不会导致数据的丢失。
• 高拓展性：在集群间分配任务数据，可方便的拓展数以千计的节点
• 高效性：在MapReduce思想下，Hadoop是并行工作的，以加快任务处理速度
• 高容错：能够自动将失败的任务重新分配

hadoop的运行模式一共有三种：本地模式、伪分布模式和完全分布模式

Hadoop组成

Hadoop包含四个组件：

组件名称	作用
MapReduce	计算
Yarn	资源调度
HDFS	数据存储
Common	辅助工具

Hadoop1.x和Hadoop2.x的区别：Hodoop1.x的MapReduce同时负责计算和资源调度，2.x后增加了yarn单独的负责资源调度。

1. HDFS

   组件名称	作用
   NameNode(nn)	存储文件的元数据，如文件名，文件的目录结构，以及每个文件的块列表和块所在的DataNode
   DataNode(dn)	存储文件的块信息和块数据的校验和
   SecondaryNameNode(2nn)	用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS的元数据快照

2. Yarn

   组件名称	作用
   ResourceManager(RM)	（1）处理客户端请求（2）监控NodeManager（3）启动或监控ApplicationMaster（4）资源的分配与调度
   NodeManager(NM)	（1）管理单个节点上的资源（2）处理来自ResourceManager的命令（3）处理来自ApplicationMaster的命令
   ApplicationMaster(AM)	（1）负责数据的切分（2）为应用程序申请资源并分配给内部的任务（3）任务的监控与容错
   Container	资源抽象，它封装了某个节点的多维度资源，比如内存、磁盘、CPU等

3. MapReduce

   分为两个阶段：Map和Reduce

   • Map阶段：将任务分配个不同的节点，并行处理输入数据
   • Reduce阶段：对Map结果进行汇总

4. Common

Hadoop技术生态体系

Hadoop安装

1. 下载软件安装包
   hadoop-2.10.0下载地址
2. 将软件包通过ftp传输到虚拟机
3. 解压安装
   tar -xzvf hadoop-2.10.0.tar.gz -C /usr/local/
4. 配置hadoop环境变量
   在/etc/profile中加入以下两句:
   export HADOOP_HOME=/usr/local/hadoop-2.10.0
export PATH=\$PATH:\$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5. 验证
   输入命令source /etc/profile/使配置生效
   输入hadoop查看hadoop信息

Hadoop目录结构

目录	作用
bin	存放Hadoop相关服务进行操作的脚本
etc	hadoop的配置文件目录，存放配置文件
lib	存放Hadoop的本地库（对数据压缩解压缩功能）
sbin	存放启动或停止hadoop的脚本
share	存放Hadoop的依赖jar包，文档和官方案例

Hadoop的本地模式

官方的grep案例：

1. 进入到hadoop目录中，并且创建目录 input
   mkdir input
2. 将hadoop的etc目录下的部分配置文件拷贝到input中
   cp etc/hadoop/*.xml input
3. 执行share目录下的mapReduce程序(必须在hadoop目录下)
   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar grep input output 'dfs[a-z.]+'
4. 输出结果
   cat output/*

官方的 WordCount 案例：

1. 进入到hadoop目录中，并且创建目录 wcinput
   mkdir wcinput
2. 在wcinput中创建文件wc.input
   touch wc.input
3. 在文件中用vim输入以下内容：
   hadoop yarn is easy
hadoop mapreduce is easy too
4. 执行share目录下的mapReduce程序(必须在hadoop目录下)
   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount wcinput wcoutput
5. 输出结果
   cat wcoutput/*
   可以看到结果中已经将wc.input中的单词统计了出来

Hadoop的伪分布式模式

配置完全是按照集群模式配置，但是只有一台机器，可以用来学习。

• 配置集群

  1. 配置core-site.xml,添加到configuration标签中：

     <!--指定HDFS中 NameNode的地址，此时本地模式就无效了-->
     <property>
     	<name>fs.defaultFS</name>
     	<value>hdfs://虚拟机的IP地址:9000</value>
     </property>
     <!--指定Hadoop运行时产生文件的存储目录-->
     <property>
     	<name>hadoop.tmp.dir</name>
     	<value>/usr/local/hadoop-2.10.0/data/tmp</value>
     </property>
     

  2. 配置hdfs-site.xml,添加到configuration标签中：

     <!--指定HDFS副本的数量，默认为 3-->
     <property>
     	<name>dfs.replication</name>
     	<value>1</value>
     </property>
     

  3. 配置hadoop-env.sh
     将其中的JAVA_HOME修改为自己 jdk的位置:
     export JAVA_HOME=/usr/local/jdk1.8.0_251

• 启动集群

  1. 格式化NameNode（第一次直接启动时格式化，以后就不要总格式化，否则格式化之前先将namenode和datanode停止，再将logs和data目录删除后再格式化）
     bin/hdfs namenode -format
  2. 启动NameNode
     sbin/hadoop-daemon.sh start namenode
  3. 启动DataNode
     sbin/hadoop-daemon.sh start datanode

• 查看集群

  1. 查看是否启动成功
     命令行输入jps命令查看两个节点是否启动
  2. 查看HDFS文件系统
     http://虚拟机的IP地址:50070
  3. 查看产生的Log日志
     在hadoop的根目录下进入logs目录，其中保存了日志信息

• 操作集群

  1. 在HDFS文件系统上创建一个input文件夹
     命令行输入：bin/hdfs dfs -mkdir -p /user/nwu_lk/input
  2. 将测试文件内容上传到文件系统上
     命令行输入：bin/hdfs dfs -put wcinput/wc.input /user/nwu_lk/input/
     该操作将本地的wc.input文件上传到/user/nwu_lk/input/目录下
  3. 查看上传的文件是否存在
     命令行输入：bin/hdfs dfs -ls /user/nwu_lk/input/
  4. 运行MapReduce程序
     命令行输入：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /user/nwu_lk/input /user/nwu_lk/output
  5. 查看运行结果
     命令行输入：bin/hdfs dfs -cat /user/nwu_lk/output/*

• 启动YARN并运行MapReduce程序

  1. 配置yarn-env.sh
     将其中的JAVA_HOME修改为自己 jdk的位置:
     export JAVA_HOME=/usr/local/jdk1.8.0_251
  2. 配置yarn-site.xml

     <!--Reduce获取数据的方式-->
     <property>
     	<name>yarn.nodemanager.aux-services</name>
     	<value>mapreduce_shuffle</value>
     </property>
     <!--指定Yarn的ResourceManager的位置-->
     <property>
     	<name>yarn.resourcemanager.hostname</name>
     	<value>自己虚拟机的IP地址</value>
     </property>
     

  3. 配置mapred-env.sh
     将其中的JAVA_HOME修改为自己 jdk的位置:
     export JAVA_HOME=/usr/local/jdk1.8.0_251
  4. 将mapred-site.xml.template重命名为mapred-site.xml
     命令行输入：mv mapred-site.xml.template mapred-site.xml
  5. 在mapred-site.xml输入配置信息

     <!--MapReduce运行在yarn上，默认本地运行-->
     <property>
     	<name>mapreduce.framework.name</name>
     	<value>yarn</value>
     </property>
     

  6. 启动 resource manager 和 node manager
     sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
  7. 查看成功与否
     浏览器输入：http://本地虚拟机IP地址:8088/
  8. 运行实例并查看8088的界面
     命令行输入：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /user/nwu_lk/input /user/nwu_lk/output

• 配置历史服务器

  1. 在mapred-site.xml增加以下配置：

     <!--历史服务器地址-->
     <property>
     	<name>mapreduce.jobhistory.address</name>
     	<value>192.168.192.138:10020</value>
     </property>
     <!--历史服务器web地址-->
     <property>
     	<name>mapreduce.jobhistory.webapp.address</name>
     	<value>192.168.192.138:19888</value>
     </property>
     

  2. 启动历史服务器：sbin/mr-jobhistory-daemon.sh start historyservice
  3. 查看信息：http://虚拟机IP地址:19888/

• 配置日志的聚集
  日志聚集：程序运行完后，将日志上传到HDFS中，优点就是可以很方便的查看程序运行情况，方便调试。（配置日志聚集需要重启ResourceManager、NodeManager和JobHistoryService）

  1. 在yarn-site.xml中添加以下配置

     <!--日志聚集功能开启-->
     <property>
     	<name>yarn.log-aggregation-enable</name>
     	<value>true</value>
     </property>
     <!--日志保留时间为7天-->
     <property>
     	<name>yarn.log-aggregation.retain-seconds</name>
     	<value>604800</value>
     </property>
     

  2. 启动ResourceManager、NodeManager和JobHistoryService

下一篇介绍

Hadoop入门知识学习（二）