大数据测试学习笔记之hadoop家族_大数据测试技术与实践学习笔记(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

hadoop项目地址： http://hadoop.apache.org/

Hadoop是项目的总称。

主要是由HDFS和MapReduce组成。

HDFS是Google File System（GFS）的开源实现。

MapReduce是Google MapReduce的开源实现。

一句话介绍hadoop家族产品：

• Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
• HDFS: Hadoop分布式文件系统(Distributed File System) － HDFS (Hadoop Distributed File System)
• MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
• HBase: 类似Google BigTable的分布式NoSQL列数据库。（HBase和Avro已经于2010年5月成为顶级 Apache 项目）
• Hive：数据仓库工具，由Facebook贡献。
• Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
• Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
• Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
• Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。
• Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合Hadoop 处理的文件保存在HDFS中供Hadoop进行各种 MapReduce 操作。
• Pig: 大数据分析平台，为用户提供多种接口。
• Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。
• Sqoop：于在HADOOP与传统的数据库间进行数据的传递。
• Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
• Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
• HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
• Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

当然整个hadoop生态不仅仅上述这些产品，还有更多的，你可以自己多去了解下。

总结

面对hadoop复杂、多样的产品，如何才能有效的学习掌握呢？

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**