![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Hadoop
qihoo233
这个作者很懒,什么都没留下…
展开
-
2020-10-12【学习笔记】【企业数据湖】九、基于Apache Hadoop存储数据(4)
七、Hadoop用于近实时应用 虽然Hadoop生态系统中,Flume可以提供基于流的数据处理,但是Hadoop仍然需要大量定义数据处理。 SparkStreaming是一种更为成熟的近实时数据处理框架,它与hadoop协同工作。按照微批处理的方式,提供了比Flume更为强大的功能。因为HDFS是一个顺序文件系统,所以文件的随机访问是一个比较大的挑战。为了解决HDFS随机访问的问题,HBase应运而生了。 虽然Hbase支持随机访问但是实际上是面向键值对的。 八、Hadoop的部署模式 Stand原创 2020-10-12 22:15:47 · 156 阅读 · 1 评论 -
2020-10-11【学习笔记】【企业数据湖】九、基于Apache Hadoop存储数据(3)
四、Hadoop生态系统 除了核心组件外,hadoop还包括了许多构建在核心组件之上的工具和库,统称为Hadoop生态系统 Hadoop生态系统中的组件可以按照其功能进行分类,: 数据访问/处理组件(Apache Pig、Hive) 数据存储组件(Hbase) 监控、管理和协调组件(Zookeeper,Oozie,Ambari) 数据集成组件(sqoop,Flume) 五、Hadoop发行版 CDH(Cloudera Data Platform) HDP(Hortonwork Data P原创 2020-10-11 21:51:37 · 124 阅读 · 0 评论 -
2020-10-09【学习笔记】【企业数据湖】九、基于Apache Hadoop存储数据(2)
二、为什么使用Hadoop 我们选择使用Hadoop存储数据的原因如下: Hadoop可以轻松地处理大量结构化、半结构化数据。 实施成本低,因为他可以使用普通商用硬件并根据需求伸缩 Hadoop拥有一个处于不断增长状态的社区 Hadoop自身的库在构建时充分考虑了可用性,不依赖于底层硬件 灵活的处理各种类型的数据 Hadoop具有比较高的实用性 Hadoop天生具有云化的属性 Hadoop天然具有健壮性和容错性 Hadoop拥有强大的计算能力 Hadoop拥有很高的运算速度 Hado原创 2020-10-09 22:09:21 · 154 阅读 · 1 评论 -
2020-10-07【学习笔记】【企业数据湖】九、基于Apache Hadoop存储数据(1)
一、数据湖背景中的数据存储和Lambda批处理层 1、数据存储和Lambda批处理层 存储层应该能够处理以下内容: 支持各种查询分析工具 不同模式下的多种类型的数据 不同格式的数据 不同规模的需求 采用各种数据压缩技术保持持久化的效率 不同的数据处理速度 视情况而定,提供不同的查询机制和语言支持 2、数据存储和Lambda批处理层--技术路线图 3、什么是apache Hadoop apache hadoop是一种计算框架,在该框架中计算机集群可以进行分布式运算,同时也可以存储大量原创 2020-10-08 23:15:50 · 121 阅读 · 0 评论