Python大数据分析（二）：大数据技术基础

（一）Linux系统和大数据

• 大数据分析需要可扩展，易用，灵活的计算分析，大量的数据需要通过一个硬件的集群制造一个计算资源之外的可扩展优势
• Linux的低门槛使得集群架设可以以低成本完成，这使得Linux成为这些年在处理数据上显得更有更好的表现和更高效
• Linux容器运行你去打包和隔离应用使得你可以在各种环境（开发，测试，生产…）下移动数据，对于完成大数据的数据处理工作，容器是一个快速简单的方式
• Linux系统在这方面的优势：用户社区庞大，开源免费，可跨平台，多用户多任务，高能高效，安全稳定，硬件计算快速，网络功能完善

---

（二）Hadoop

Apache Hadoop 是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop 是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。

（1）Hadoop包含哪些模块？

• 常用模块（Hadoop Common）：常用模块可以为其他模块提供效用
• HDFS：HDFS是分布式文件系统（Hadoop Distributed FIle Syetem ）的简称，分布式文件系统可以为应用数据提供高吞吐量的处理
• YARN：一个为工作调度和集群资源管理而设计的框架
• MapReduce：一个为庞大数据集所用的可并行YARN基础系统
• Ozone：一个Hadoop的对象存储

（2）Hadoop的生态成员

• HBase：HBase是一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。
• Hive：Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼，查询和分析。
• ZooKeeper：ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。 ZooKeeper曾经是Hadoop的一个子项目，但现在是一个独立的顶级项目。 ZooKeeper的架构通过冗余服务实现高可用性。
• Pig：Pig是一个基于Apache Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系