【大数据】简介：大数据生态 Hadoop

最新推荐文章于 2024-05-16 21:51:17 发布
最新推荐文章于 2024-05-16 21:51:17 发布
阅读量664 收藏 13
点赞数 27
分类专栏： 大数据 文章标签： 大数据 hadoop 分布式 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flowglow/article/details/136502561
版权

Hadoop生态

说明：- 表示繁写/全称

Hadoop之父

Hadoop 之父 Doug Cutting
请添加图片描述

Hadoop [hædu:p]
Cutting 儿子对玩具小象的昵称 Hadoop

Cutting很厉害，尤其在搜索引擎 Lucene
爬虫框架 Nutch
数据序列化框架 Avro
都是Apache项目的

Hadoop 时间简史

Google 三篇论文

  • 《The Google File System 》 2003 简称 GFS 谷歌分布式文件系统
  • 《MapReduce: Simplified Data Processing on Large Clusters》 2004 分布式计算框架
  • 《Bigtable: A Distributed Storage System for Structured Data》 2006 分布式存储层（以结构化表来储存数据）

前两篇（分布式文件系统，分布式计算框架）是 Hadoop 的思想之源，用 Java 实现了 Hadoop

Hadoop 由 Apache Software Foundation 于 2005 年秋天作为 Lucene的子项目Nutch的一部分正式引入（技术相当成熟了）

2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中，更名为 HDFS - Hadoop的分布式文件系统（- 表示繁写/全称）

Cloudera公司在2008年开始提供基于Hadoop的软件和服务
在大数据领域非常有名，尤其在"基建"

Apache Hadoop 项目

关键词：项目

hadoop.apache.org
Apache 阿帕奇基金会，能够出现在域名前的项目都是：顶级项目，经过生产验证的
2016年10月 Hadoop-2.6.5
2017年12月 Hadoop-3.0.0

The project includes these modules ：Hadoop 项目模块
前三的 1.x 就有了

  • Hadoop Common 核心工具
  • Hadoop Distributed File System（HDFS） 分布式存储
  • Hadoop MapReduce 分布式计算
  • 2.x 才有
    • Hadoop YARN 分布式资源管理

Other Hadoop-related project at Apache ：Hadoop 相关

  • HBase
    • 来自于 Bigtable 论文
  • Hlve
    • 必须要会的，企业更多要解决的是数据加工的事情
    • 大数据仓库
    • 提供了 SQL 入口的写法，数仓数据管理方式
  • Spark
    • MapRduce 已经是一个分布式计算框架了，但现在用的场景已经很少了
    • Spark 是它的 10倍
      曾经 Hlve 底层会把 SQL 转为 MapReduce ，现在渐渐放弃了，转而用 Spark
  • ZooKeeper 分布式协调服务，高可用的
    • 大数据的东西，都是集群的、分布式的、多节点，如果没有一个可靠的协调者，就像多线程一样跑起来很乱，根本不可预期的

大数据生态圈

也叫：Hadoop生态圈

  1. 以上讲的是 阿帕奇基金会 的
  2. 以下讲的是 Cloudera公司：http://www.cloudera.com/

请添加图片描述

CDH - Cloudera’s Distribution Including Apache Hadoop
CDH 包含了大数据生态圈所有的技术（围绕Hadoop的）
CDH is the most complete,tested, and popular distribution of Apache Hadoop and related projects
hadoop-2.6.0+cdh5.16.1
hbase-1.2.0+cdh5.16.1
hive-1.1.0+cdh5.16.1
spark-1.6.0+cdh5.16.1
官方文档：Cloudera Product Documentation

企业用得最多的还是 5.16.x 的，整合的大数据生态圈hadoop技术：版本是相对比较老，但相对比较可靠稳定的，企业比较放心 2.x 版本的（企业：不能”脑袋捆到裤腰带上“）
所以我选择了 Hadoop-2.6.5

6.0.x 整合的就是 3.x 版本的

重点学习

接入层 Integrate

  • Sqoop ，Kafka ，Flume
    存储层 Store
  • HDFS ，Kudu自开发的 ，HBase ，Object Store对象存储
    统一的服务层
  • YARN资源管理 ，安全的 Sentry
    处理 解析 服务 层
  • 批量计算 Spark & Hlve
  • 流式计算 Spark
  • SQL 解析 Impala自强推，Hvlue和Spark也能提供SQL
  • Spark 可全栈，批计算、流计算、机器学习、SQL解析等都可以做

Flink 全栈（更强：流计算，真 实时）
阿里 是 最大的推动公司，把她进行大换血、源码重写、架构重新整理，17年底18年 非常大的推动了一把
因为大数据迎来了一个新的生机，批 转 流计算
批计算的弊端：一整天 收集完所有的数据，晚上一次性计算，怎么想显然都不合理

流辉fglow
关注
  • 27
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一步一步学习大数据：Hadoop生态系统与场景
01-27
随着互联网以及物联网的蓬勃发展，我们进入了大数据时代。IDC预测，到2020年,全球会有44ZB的数据量。传统存储和技术架构无法满足需求。在2013年出版的《大数据时代》一书中，定义了大数据的5V特点：Volume(大量)、...
大数据hadoop生态技术简介
zhoushimiao1990的博客
06-15 3027
大数据生态知识体系
大数据开发：Hadoop分布式架构简介
shuimuzh123的博客
06-01 681
作为最早开源的大数据框架，Hadoop经历了相当长的一段黄金发展时期，在大数据的发展当中，Hadoop也在随着大趋势不断优化调整，但是分布式架构始终是不变的主旨。今天的大数据开发分享，我们来对Hadoop分布式架构做一个具体的讲解。 Hadoop是Apache软件基金会下的一个开源分布式计算平台，在业内应用非常广泛，可以说是大数据的代名词，也是分布式计算架构的鼻祖。几乎所有主流厂商都围绕Hadoop进行开发和提供服务，如谷歌、百度、思科、华为、阿里巴巴、微软都支持Hadoop。 Hadoop的原.
大数据开发：Hadoop入门学习路线
shuimuzh123的博客
06-22 866
学习大数据，核心重点就是对于专业技术的掌握，我们判断一个机构的课程是否具备足够的专业度，也往往是从这些核心技术体系的课程规划来看的。以Hadoop来说，这是大数据学习当中必不可少的部分。今天大数据学习分享，我们来聊聊Hadoop学习路线。 Hadoop生态最初在大数据领域绝对是无可争议的霸主，虽然近年来大数据领域新技术层出不穷，这些新技术确实在很多方面比起Hadoop强，但是Haoop作为最早的、目前来说最成熟的大数据生态，短时间不可能被取代。 在学习Hadoop时，主要分为两个阶段：第一阶段基.
hadoop大数据生态概述
10 学习笔记
04-16 3192
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构 Hadoop通常是指一个更广泛的概念——Hadoop生态圈 Hadoop 三大发行版本： Apache、 Cloudera、 Hortonworks （被收购） 注意：Hadoop1.x、 2.x、 3.x的区别（计算和资源调度） HDFS架构 NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、 副本数、文件权限），以及每个文件的块列表和块所在的DataNode等 DataNode(dn
「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍
weixin_62909516的博客
07-09 1255
HDFS 是 Hadoop 的主要存储系统，为大数据提供可扩展的、高容错的、可靠的和具有成本效益的数据存储。Hadoop是一个庞大的家族，包含存储，计算等一系列产品组件，需要了解其中的一系列组件，包括HDFS，MapReduce，Yarn，Hive，HBase，ZooKeeper，Flume，Kafka，Sqoop，HUE，Phoenix，Impala，Pig，Oozie，Spark等，知道其干什么，维基百科定义。它的任务包括加载数据，应用所需的过滤器并以所需的格式转储数据。它是容错和可靠的机制。
大数据入门：Hadoop核心架构解析
shuimuzh123的博客
06-23 959
要实现对大数据的处理，大数据处理技术是最关键的部分，而行业发展所需要的专业人才，就是掌握大数据技术，能够解决实际数据问题的人才。主流的大数据技术框架当中，Hadoop的通用，是得到行业普遍认可的。今天的大数据入门分享，我们主要来聊聊Hadoop核心架构。 Hadoop的高可靠性、高扩展性、高效性、高容错性，是Hadoop的优势所在，在十多年的发展历程当中，Hadoop依然被行业认可，占据着重要的市场地位。 基于Hadoop基础架构，众多组件形成了Hadoop生态，集海量数据存储、计算于一体，包括.
大数据入门：大数据Hadoop家族全介绍
shuimuzh123的博客
06-08 251
在大数据开发学习当中，关于Hadoop框架的学习无疑是重点，并且也是难点，整个Hadoop家族生态圈，有二十几个组件，在学习阶段都是需要有相应的理解和掌握的。今天的大数据培训课程介绍，我们就主要来聊聊Hadoop家族的一系列产品。 在大数据处理框架当中，Hadoop家族产品是早期开源框架当中的首选，并且直到今天，仍然在很多方面有着不可替代的作用。 Hadoop家族产品介绍： Apache Hadoop：分布式计算框架，提供分布式文件系统HDFS和支持MapReduce分布式计算的软件架构。 Apa.
大数据学习笔记：Hadoop生态系统
howard2005的专栏
02-26 1686
介绍Hadoop生态圈常用组件
大数据之Hadoop生态圈
J_fovik_R0407的博客
06-30 869
HDFS是整个Hadoop体系的基础，负责数据的存储与管理，Hdfs有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。
Hadoop和大数据：60款顶级开源工具
01-30
IBM更是非常看好开源大数据工具，派出了3500名研究人员开发ApacheSpark，这个工具是Hadoop生态系统的一部分。这回我们推出了最新的顶级开源大数据工具排行榜。这个领域最近方兴未艾，许多新项目纷纷启动。许多最知名...
hadoop大数据生态圈组件
01-20
hadoop大数据组件，包括hadoop,kafka,flume,hbase,hive,zookeeper,spark。可以满足基本使用需求。
大数据导论：认识大数据.pdf
06-21
课程： 大数据导论 课程简介 本课程首先介绍大数据的概念和商业应用，再引导理解大数据存储、处理和管理的技术 架构，浅尝 Hadoop2 生态圈、以及 Spark 框架结构，领略这些流行的框架是如何支持 大数据管理的。...
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
最新发布
m0_72717598的博客
05-16 259
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
Hive的“分区”
早拾碗吧的博客
05-15 469
【代码】Hive的“分区”
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 331
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
大数据概述
JAZJD的博客
05-16 686
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1101
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
大数据spark基础和hadoop生态圈
03-16
大数据Spark基础和Hadoop生态圈是大数据领域中非常重要的两个概念。Spark是一种快速、通用、可扩展的大数据处理引擎，它可以在内存中进行数据处理，速度比Hadoop MapReduce快得多。Hadoop生态圈则是指围绕Hadoop生态...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值