自2013年起,无论是 BAT 还是传统的商业公司,都陆续在自己的软件系统中大规模使用大数据技术。不仅如此,越来越多的软件工程师开始转型成为大数据工程师,从事大数据开发与应用的工作。市场对于大数据的人才需求与日俱增,大数据方向俨然成为了业内炙手可热的职位。为什么讲大数据都要从Hadoop开始?大数据的问题和挑战不同以往,它的处理方法与技巧也颇有不同。理解大数据面对的问题以及处理技巧,是构建大数据知识体系的源头。理解大数据,从理解Hadoop开始。
模块2:大数据生态体系主要产品原理与架构
大数据领域不只有Hadoop,还有数据仓库Hive、NoSQL系统HBase、计算引擎Spark、流计算引擎Storm、Flink,以及分布式一致性解决方案ZooKeeper等,它们构成了一个完整的大数据生态体系,解决各种场景下的不同问题。
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
2020-11-10
最新推荐文章于 2023-06-20 19:10:37 发布