本文介绍了Hadoop作为大数据的分布式存储与计算平台，包括其核心组件HDFS和MapReduce。Hadoop生态圈中，HBase作为列式数据库，Hive提供类似SQL的数据仓库功能，Zookeeper用于协调分布式服务，Sqoop用于数据库与Hadoop间的数据交换，Chukwa用于日志采集分析，Pig提供面向数据流的语言，Avro是数据序列化工具，而Cassandra是NoSQL数据库。这些组件共同构建了强大的大数据处理生态系统。
1.Hadoop是什么?
适合大数据的分布式存储与计算平台
HDFS: Hadoop Distributed File System分布式文件系统
MapReduce：并行计算框架
2.Hadoop生态圈
①HBase
Google Bigtable的开源实现
列式数据库
可集群化
可以使用shell、web、api等多种方式访问
适合高读写(insert)的场景
HQL查询语言
NoSQL的典型代表产品
②Hive
数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表
支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务，几乎SQL的其它特征都能支持
可以看成是从SQL到Map-
3826
2549
2294
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
