项目二 hadoop大数据平台的构建

ppt资源领取请在文章后进行留言，收到信息回复后即可领取。

• 项目描述

通过分析学生专业课程技能考核、学生就业、学生学习兴趣、企业岗位需求、互联网招聘等数据信息，建立岗位模型、知识模型和学情模型，指导公司进行就业和学情分析系统的研发。

在综合分析相关技术和应用实践的前提下，选择了主流的Hadoop大数据平台，并采用ApacheAmbari管理平台构建Hadoop开发环境。

• 任务描述

1. 借助学习论坛、网络视频等网络资源和各种图书资源，学习ClouderaManager、Ambari和MapR等大数据平台管理工具。

2.借助学习论坛、网络视频等网络资源和各种图书资源，学习Hadoop生态系统的相关技术，了解各项技术的功能。

3. 完成Ambari的安装与配置。

• 任务目标

1. 了解Hadoop背景知识，熟悉Hadoop的生态系统。

2. 学会Hadoop分布式集群的组建方法。

3. 学会AmbariServer和Ambari Agent的配置方法。

1.认识Hadoop平台产品

相比于SQL数据库，Hadoop在某些方面仍然显得不够完善。Cloudera、Hortonworks、MapR是最具有代表性的公司，他们带来众多的创新并提供强大的集群工具。这些管理工具分别是ClouderaManager、Ambari和MapR，它们均能对集群进行自动化安装、管理、监控、诊断和集成。如图2-1所示为3大Hadoop平台的供应商。下面向读者扩展一下这些公司的产品服务。

图2-1 三大Hadoop平台的供应商

2.熟悉Hadoop生态系统

3.任务实施

Ambari管理平台通过安装向导来进行集群的搭建，简化了集群供应。

Ambari支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。

Ambari是一个分布式架构的软件，主要由AmbariServer和 Ambari Agent两部分组成，如图2-5所示。

图2-5 Ambari Server架构

ppt资源领取请在文章后进行留言，收到信息回复后即可领取。