大数据测试学习笔记之hadoop家族_大数据测试技术与实践学习笔记(2)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

HDFS是Google File System（GFS）的开源实现。

MapReduce是Google MapReduce的开源实现。

一句话介绍hadoop家族产品：

• Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
• HDFS: Hadoop分布式文件系统(Distributed File System) － HDFS (Hadoop Distributed File System)
• MapReduce：并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
• HBase: 类似Google BigTable的分布式NoSQL列数据库。（HBase和Avro已经于2010年5月成为顶级 Apache 项目）
• Hive：数据仓库工具，由Facebook贡献。
• Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
• Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
• Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
• Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。
• Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合Hadoop 处理的文件保存在HDFS中供Hadoop进行各种 MapReduce 操作。
• Pig: 大数据分析平台，为用户提供多种接口。
• Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。
• Sqoop：于在HADOOP与传统的数据库间进行数据的传递。
• Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
• Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
• HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
• Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

当然整个hadoop生态不仅仅上述这些产品，还有更多的，你可以自己多去了解下。

总结

面对hadoop复杂、多样的产品，如何才能有效的学习掌握呢？

1. 了解基于hadoop家族产品的具体大数据的应用场景
2. 深入学习HDFS和MapReduce工作原理
3. 尝试安装、部署hadoop家族系列产品，并试用
4. 与从事大数据开发的人员聊聊具体的技术落地过程

对于大数据的技术体系中涉及的各种技术的学习是一个长期的过程，但光看书是不够的，还需要去实践。

作为软件测试，更需要在实践的过程中结合测试理念，从细节做起，从解决小问题做起，逐步建立系一套符合企业需要的大数据测试体系和积累起自己的大数据相关的技术体系。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**