大数据离线-Hadoop入门（下）

最新推荐文章于 2023-07-22 10:10:11 发布
最新推荐文章于 2023-07-22 10:10:11 发布
阅读量870 收藏 6
点赞数 2
分类专栏： 大数据 Hadoop 文章标签： 大数据 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42229056/article/details/82597804
版权

本次主要介绍大数据离线阶段的Hadoop入门，分为上下两篇。

  • 上篇的内容为Hadoop简介，历史，特性，应用四个模块。
  • 下篇的内容为hadoop的集群搭建，集群启动，入门初试三部分。

1.Hadoop集群搭建

发行版本

Hadoop 发行版本分为开源社区版和商业版。

  • 社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系。
  • 商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本， 比较著名的有 cloudera 的 CDH、 mapR 等。

我们介绍的是社区版： Apache Hadoop。 后续如未说明都是指 Apache 版。Hadoop 的版本很特殊，是由多条分支并行的发展着。 大的来看分为 3 个大的系列版本： 1.x、 2.x、 3.x。

  • Hadoop1.0 由一个分布式文件系统 HDFS 和一个离线计算框架 MapReduce 组成。
  • Hadoop 2.0 则包含一个支持 NameNode 横向扩展的 HDFS，一个资源管理系统YARN 和一个运行在 YARN 上的离线计算框架 MapReduce。相比于 Hadoop1.0，Hadoop 2.0 功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。
  • Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增强。但目前还是个alpha 版本，有很多 bug，且不能保证 API 的稳定和质量。

我们课程中使用的是当前 2 系列最稳定版本： Apache Hadoop 2.7.4。

集群介绍

HADOOP 集群具体来说包含两个集群： HDFS 集群和 YARN 集群，两者逻辑上分
离，但物理上常在一起

  • HDFS 集群负责海量数据的存储，集群中的角色主要有：
    NameNode、 DataNode、 SecondaryNameNode
  • YARN 集群负责海量数据运算时的资源调度，集群中的角色主要有：
    ResourceManager、 NodeManager
  • mapreduce 是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在 HDFS 集群上，并且受到 YARN 集群的资源调度管理。

Hadoop 部署方式分三种:

  • 独立模式又称为单机模式， 仅 1 个机器运行 1 个 java 进程，主要用于调试。(单机)
  • 伪分布模式也是在 1 个机器上运行 HDFS 的 NameNode 和 DataNode、 YARN 的
    ResourceManger 和 NodeManager， 但分别启动单独的 java 进程，主要用于调试。（单机）
  • 集群模式主要用于生产环境部署。 会使用 N 台主机组成一个 Hadoop 集群。
  • 这种部署模式下， 主节点和从节点会分开部署在不同的机器上。

我们以 3 节点为例进行搭建，角色分配如下：
这里写图片描述
角色分配如下：

  • node-01 NameNode DataNode ResourceManager
  • node-02 DataNode NodeManager SecondaryNameNode
  • node-03 DataNode NodeManager
1. 服务器准备

VMware Workstation Pro 12.0
Centos 6.7 64bit

2. 网络环境准备

采用 NAT 方式联网。

  • 如果创建的是桌面版的 Centos 系统，可以在安装完毕后通过图形页面进行编辑。
  • 如果是mini版本的，可通过编辑ifcfg-eth*配置文件进行配置。注意BOOTPROTO、 GATEWAY、 NETMASK。
3. 服务器系统设置

同步时间

  • #手动同步集群各机器时间
    date -s "2017-03-03 03:03:03"
    yum install ntpdate
  • 网络同步时间
    ntpdate ntp6.aliyun.com

设置主机名

  • Linux主机名设置
    vi /etc/hosts
    输入内容
    192.168.33.101（自己对应的IP地址） node-1
    192.168.33.102（自己对应的IP地址） node-2
    192.168.33.103 （自己对应的IP地址）node-3
  • window主机名映射
    地址：C:\Windows\System32\drivers\etc
    修改hosts文件，添加内容
    192.168.33.101（自己对应的IP地址） node-1
    192.168.33.102（自己对应的IP地址） node-2
    192.168.33.103 （自己对应的IP地址）node-3

配置 ssh 免密登陆
生成 ssh 免登陆密钥
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成 id_rsa（私钥）、 id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id node-02

配置防火墙
查看防火墙状态 service iptables status
关闭防火墙 service iptables stop
查看防火墙开机启动状态 chkconfig iptables --list
关闭防火墙开机启动 chkconfig iptables off

#####4. JDK环境安装

  • 上传 jdk 安装包 jdk-8u65-linux-x64.tar.gz
  • 解压安装包 tar zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps
  • 配置环境变量 vim /etc/profile
  • 插入下面的内容
export JAVA_HOME=/root/apps/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 刷新配置:source /etc/profile
5. Hadoop 安装
  • 上传hadoop,解压 hadoop-2.7.4-with-centos-6.7.tar.g
  • hadoop的目录结构
    这里写图片描述
    • bin： Hadoop 最基本的管理脚本和使用脚本的目录，这些脚本是 sbin 目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用 Hadoop。
    • etc： Hadoop 配置文件所在的目录，包括 core-site,xml、 hdfs-site.xml、mapred-site.xml 等从 Hadoop1.0 继承而来的配置文件和 yarn-site.xml Hadoop2.0 新增的配置文件。
    • include：对外提供的编程库头文件（具体动态库和静态库在 lib 目录中），这些头文件均是用 C++定义的，通常用于 C++程序访问 HDFS 或者编写 MapReduce
      程序。
  • lib：该目录包含了 Hadoop 对外提供的编程动态库和静态库，与 include 目录中的头文件结合使用。
  • libexec：各个服务对用的 shell 配置文件所在的目录，可用于配置日志输出、启动参数（比如 JVM 参数）等基本信息。
  • sbin： Hadoop 管理脚本所在的目录，主要包含 HDFS 和 YARN 中各类服务的
    启动/关闭脚本。
  • share： Hadoop 各个模块编译后的 jar 包所在的目录.
6. Hadoop 配置文件修改

Hadoop 安装主要就是配置文件的修改， 一般在主节点进行修改，完毕后 scp
下发给其他各个从节点机器。下面的文件都在 hadoop的***etc***目录下：

export JAVA_HOME=/root/apps/jdk1.8.0_65
  • 修改core-site.xml文件，在configuration中增加代码
<configuration>

<!-- 用于设置 Hadoop 的文件系统，由 URI 指定 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node-1:9000</value>
	</property>

<!-- 配置 Hadoop 的临时目录,默认/tmp/hadoop-${user.name} -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/data/hadoopData</value>
	</property>
</configuration>
  • 修改hdfs-site.xml，在configuration中增加代码
<configuration>
<!-- 指定 HDFS 副本的数量 -->
 <property>
  <name>dfs.replication</name>
  <value>2</value>
 </property>
<!-- secondary namenode 所在主机的 ip 和端口->
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>192.168.25.101:50090</value>
 </property>
</configuration>
  • 修改mapred-site.xml的，configuration中增加代码
<configuration>
<!-- 指定 mr 运行时框架，这里指定在 yarn 上，默认是 local -->
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
</configuration>
  • 修改yarn-site.xml的，configuration中增加代码
<configuration>
<!-- 指定 YARN 的老大（ ResourceManager）的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node-1</value>
  </property>
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值： "" -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>
  • 创建slaves文件，如果存在进行编辑，删除***locahost***，增加文件
node-1
node-2
node-3
  • 将hadoop添加到环境变量 ，命令***vim /etc/proflie***
export HADOOP_HOME=/export/server/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 保存配置文件，刷新配置文件：source /etc/profile

集群启动

  • 启动方式
    要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
    注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
    hdfs namenode– format 或者 hadoop namenode – format
  • 单节点逐个启动
  1. 在主节点上使用以下命令启动 HDFS NameNode：
    hadoop-daemon.sh start namenode
  2. 在每个从节点上使用以下命令启动 HDFS DataNode：
    hadoop-daemon.sh start datanode
  3. 在主节点上使用以下命令启动 YARN ResourceManager：
    yarn-daemon.sh start resourcemanager
  4. 在每个从节点上使用以下命令启动 YARN nodemanager：
    yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。 如果想要停止某个节点上某个角色，只需要把命令中的 start 改为 stop 即可。

  • 脚本一键启动
    如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动
    所有 Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
  1. hdfs： /sbin/start-dfs.sh
  2. yarn: /sbin/start-yarn.sh
  3. 停止集群： stop-dfs.sh、 stop-yarn.sh
  • 集群 web-ui
    一旦 Hadoop 集群启动并运行， 可以通过 web-ui 进行集群查看，如下所述：
    node-1:50070 HDFS的NameNode节点
    HDFS
    node-1:8088 YARN的主页
    YARN

Hadoop初体验

  • 从 Linux 本地上传一个文本文件到 hdfs 的/test/input 目录下
    hadoop fs -mkdir -p /wordcount/input 创建文件夹
    hadoop fs -put /root/somewords.txt /wordcount/input Linux上传到hadoop

  • 运行 mapreduce 程序
    在 Hadoop 安装包的 hadoop-2.7.4/share/hadoop/mapreduce 下有官方自带的 mapreduce 程序。 我们可以使用如下的命令进行运行测试。示例程序 jar:
    hadoop-mapreduce-examples-2.7.4.jar

  • 计算圆周率:
    hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 20 50
    这里使用的是Monte Carlo 方法来计算 Pi 值
    使用Monte Carlo 计算圆周率

本博客现阶段主要针对大数据的学习会逐一推出相关的学习文档，从简介，原理，入门测试，小的案例练习包括。会每天抽出时间更新，感兴趣的童鞋，欢迎关注订阅，多多交流。

xipenfei
关注
专栏目录
大数据之Hadoop入门
二锅头的博客
09-04 2803
1、大数据概论 我接触大数据准确来说是在我上大二的时候，我在跟我的系主任一起做项目的时候，那个时候处理的国外的数据，大约是由500W的数据，当时我用的舍友的笔记本，直接卡到打不开，也就是在那个时候，才有了大数据的概念。 好了，进入正题！ 1.大数据概念 大数据：指无法在一定时间范围内用日常的软件工具进行分析、处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。 所以学习大数据就是主要解决海量数据的存储和海量数据的分析计算问题。 2.大数据特
大数据离线-Hadoop入门（上）
weixin_42229056的博客
09-10 813
本博客现阶段主要针对大数据的学习会逐一推出相关的学习文档，从简介，原理，入门测试，小的案例练习包括。会每天抽出时间更新，感兴趣的童鞋，欢迎关注订阅，多多交流。 本次主要介绍大数据离线阶段的Hadoop入门，分为上下两篇。 上篇的内容为Hadoop简介，历史，特性，应用四个模块。 下篇的内容为hadoop的集群搭建，集群启动，入门初试三部分。 Hadoop介绍 一般我们讲的Hadoo...
大数据技术之Hadoop入门（第二篇）
AdamAaron的博客
06-11 5328
大数据技术之Hadoop入门（第二篇） 继续上篇文章Hadoop入门 今天来简单的说一下HDFS中的SecondaryNameNode 副节点 和持久化 在上篇文章中说过了Secondary NameNode(Snn 后面都写作SNN)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照 一、SNN SNN的主要工作 （1）Secondary NameNode询问NameN...
大数据技术之 Hadoop（入门）
最新发布
HelloWowofei的博客
07-22 1199
注意：在企业开发时，通常单个服务器的防火墙时关闭的。如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境。：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、根据任务对时间的准确程度要求周期同步。是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
大数据技术之Hadoop（入门）
qq_33239198的博客
05-08 304
大数据技术之Hadoop（入门） 从Hadoop框架讨论大数据生态 Google是Hadoop的思想之源（Google在大数据方面的三篇论文） GFS ====> HDFS Map-Reduce ====> MR BigTable ====> HBase Hadoop的优势 高可靠性：因为Hadoop假设计算元素和存储会出现故障，它维护多个工作...
大数据技术之Hadoop--入门
m0_47707460的博客
05-11 520
第1章 大数据概论 1.1 大数据概念 大数据概念如图所示。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DzXO0n41-1589145890472)(大数据技术之Hadoop–入门.assets/image-20191227150034169.png)] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zrDZL7ue-1589145890474)(大数据技术之Hadoop–入门.assets/image-20191227150124050
大数据系列-Hive入门与实战.pptx
12-04
总结来说，Hive作为基于Hadoop的数据仓库工具，通过提供SQL接口简化了大数据分析，实现了SQL到MapReduce的转化，适合大规模数据的离线处理。其设计理念和特性，如元数据管理、支持多种数据格式和接口，以及可扩展的...
大数据离线-MapReduce(上)--初识MapReduce
weixin_42229056的博客
09-13 449
本次主要介绍MapReduce,分为上篇，下篇两个篇章 上篇介绍MapReduce计算模型，MapReduce编码规范及测试，程序运行模式。 下篇介绍MapReduce序列化，MaoReduce排序初步，Mapreduce 的分区。 1. MapReduce计算模型 MapReduce是: 将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hado...
大数据离线分析之企业实战分享
weixin_51689029的博客
10-13 323
本次课程将结合大数据行业技术栈现状，为大家讲解企业中常用的离线分析。从如何使用大数据管理平台Cloudera Manager，到主流常用的分析模型，由浅入深逐步介绍，零基础小白也能听懂，对大数据感兴趣的小伙伴不要错过。【主讲内容】1.快速上手大数据管理平台CM2.详解主流离线分析引擎Presto3.大数据离线分析常用分析模型。
大数据分析离线项目
07-17
主要讲述一个利用大数据平台对数据进行分析并图形化展示的一个项目
大数据Hadoop快速入门教程
大数据Hadoop学习
12-12 622
1、Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点 Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下 2、HDFS 源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS...
大数据学习笔记之Hadoop（一）：Hadoop入门
as403045314的博客
04-16 857
文章目录大数据概论一、大数据概念二、大数据的特点三、大数据能干啥？四、大数据发展前景五、企业数据部的业务流程分析六、企业数据部的一般组织结构Hadoop（入门）一 从Hadoop框架讨论大数据生态1.1 Hadoop是什么1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4 Hadoop的优势1.5 Hadoop组成1.5.1...
Hadoop——大数据入门必学
weixin_43934104的博客
09-16 445
开头整点闲话 小二在工作之余突发奇想，整篇关于Hadoop的基础原理的知识，希望能帮助大家更容易去学习更多技术知识。我了解到大学现在很多大数据和数据分析的专业，涉及到大数据必须得把这个Hadoop搞定啊，Hadoop在数据提取，变形和加载的自身优势使其在超大数据集的应用程序上不仅提供海量数据的存储，同时也提供了高速计算的手段。 Hadoop介绍 针对分布式系统架构，Apache开发出Hadoop，让我们可以开发分布式的程序。重要的两点就是其分布式存储文件系统（HDFS）和高速运算（MapReduce）。这两
大数据的入门之路——Hadoop基础学习
程序之道的博客
12-27 439
前言 目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。 基础概念 大数据的本质 一、数据的存储：分布式文件系统(分布式存储) 二、数据的计算：分部署计算 基础知识 学习大数据需要具备Java知识基础及Linux知识基础 学习路线 (1)Java基础和Linux基础 (2)Hadoop的学习：体系结构...
大数据入门之Hadoop基础学习
weixin_40581617的博客
07-11 170
前言目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解基础概念大数据的本质一、数据的存储：分布式文件系统（分布式存储）二、数据的计算：分部署计算基础知识学习大数据需要具备Java知识基础及Linux知识基础学习路线（1）Java基础和Linux基础（2）Hadoop的学习：体系结构、原理、编程第一阶段：...
10分钟大数据Hadoop基础入门
大数据基础入门教程
03-02 699
前言 目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。 基础概念 大数据的本质 一、数据的存储：分布式文件系统（分布式存储） 二、数据的计算：分部署计算 基础知识 学习大数据需要具备Java知识基础及Linux知识基础 学习路线 （1）Java基础和Linux基础 （2）Hadoop...
大数据hadoop入门 总结图
weixin_40592935的博客
02-13 840
  一,  大数据技术生态体系   二, Hadoop MapReduce框架 三,  hadoop HDFS 副本存放策略   四, 安装实例   
大数据挑战与Hadoop入门：从数据分析问题到生态系统
Hadoop并不是一个数据库，而是提供了一个分布式文件系统（HDFS）和计算框架，用于离线大数据分析。 Hadoop的核心组件包括HDFS和MapReduce。HDFS是一种分布式文件系统，设计目标是处理非常大的数据集，并且能在廉价...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值