2020-11-10

自2013年起，无论是 BAT 还是传统的商业公司，都陆续在自己的软件系统中大规模使用大数据技术。不仅如此，越来越多的软件工程师开始转型成为大数据工程师，从事大数据开发与应用的工作。市场对于大数据的人才需求与日俱增，大数据方向俨然成为了业内炙手可热的职位。为什么讲大数据都要从Hadoop开始？大数据的问题和挑战不同以往，它的处理方法与技巧也颇有不同。理解大数据面对的问题以及处理技巧，是构建大数据知识体系的源头。理解大数据，从理解Hadoop开始。
模块2：大数据生态体系主要产品原理与架构
大数据领域不只有Hadoop，还有数据仓库Hive、NoSQL系统HBase、计算引擎Spark、流计算引擎Storm、Flink，以及分布式一致性解决方案ZooKeeper等，它们构成了一个完整的大数据生态体系，解决各种场景下的不同问题。
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。