大数据相关介绍

2401_84181108

于 2024-05-01 03:59:00 发布

阅读量895

点赞数 25

分类专栏：程序员文章标签：大数据

本文链接：https://blog.csdn.net/2401_84181108/article/details/138362954

版权

本文介绍了Hadoop框架中的关键组件，如HDFS的分布式存储、MapReduce的计算模型、Hive的数据仓库查询、HBase的列式存储等，以及Zookeeper、Sqoop、Pig、Mahout和Flume等工具的作用。同时概述了资源管理器YARN和Mesos在大数据环境中的角色。详述了HDFS读写流程，强调了这些技术在大数据处理中的重要性和适用场景。

摘要由CSDN通过智能技术生成

1、HDFS（hadoop分布式文件）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。系统）

2、mapreduce（分布式计算框架）mapreduce是一种计算模型，用于处理大数据量的计算。其中map对应数据集上的独立元素进行指定的操作，生成键-值对形式中间，reduce则对中间结果中相同的键的所有值进行规约，以得到最终结果。

3、 hive（基于hadoop的数据仓库）由Facebook开源，最初用于解决海量结构化的日志数据统计问题。hive定于了一种类似sql的查询语言（hql）将sql转化为mapreduce任务在hadoop上执行。

4、hbase（分布式列存数据库）

hbase是一个针对结构化数据的可伸缩，高可靠，高性能，分布式和面向列的动态模式数据库。和传统关系型数据库不同，hbase采用了bigtable的数据模型：增强了稀疏排序映射表（key/value）。其中，键由行关键字，列关键字和时间戳构成，hbase提供了对大规模数据的随机，实时读写访问，同时，hbase中保存的数据可以使用mapreduce来处理，它将数据存储和并行计算完美结合在一起。

5、zookeeper（分布式协作服务）解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。

6、sqoop（数据同步工具）sqoop是sql-to-hadoop的缩写，主要用于传统数据库和hadoop之间传输数据。数据的导入和导出本质上是mapreduce程序，充分利用了MR的并行