基于云服务创建弹性托管集群服务

弹性托管集群服务

• 使用JMR产品，可在几分钟内创建并启动集群，弹性灵活，可根据业务规模与工作负载等需求实现低成本集群组件最优组合，动态扩容缩容，更专注于业务分析。

使用京东云的JMR，对于其他云平台可做参考。

JMR(JingDong MapReduce)是基于弹性计算能力和开源生态系统提供的 Hadoop/Spark 托管服务，使用者可便捷地使用 MapReduce，Hive，Spark，Presto 等服务低成本开展大数据处理分析。

创建集群，配置作业，部署作业，集群监控

1.登录京东智联云，点击云服务，选择“JMR”进入JMR控制台。

2.进入控制台后，进入JMR的“集群管理”页面，点击“新建集群”。

3.按照项目要求配置集群的软件和硬件设置。这里演示打开“高可用”，默认Master和Core的节点配置。

4.按照要求配置集群的网络设置，如果没有私有网络，则需要点击创建私有网络。建议在网络配置中打开全部端口，否则可能会出现集群创建失败的情况。填写基本信息，集群名称为“lab_JMR01”、密码。确认后打勾已同意，点击页面右侧的“立即购买”，即可完成集群的创建。

5.创建集群时间大约10分钟，创建时间跟集群规模有关，集群管理页面查看集群创建的状态和集群详情。

6.创建作业，点击“作业管理”列表下的“配置作业”，点击“创建作业”跳到“创建作业”页面。

7.填写作业名称为“lab_work01”，选择作业类型为Python，输入应用程序参数“-c “print ‘Hello world’””，确认后保存。跳转配置作业页面，点击测试运行。

8.在配置作业页面下的“执行历史”模块中，可以看到状态是否成功。点击“标准输出”与“错误输出”，可以浏览日志详情。

9.作业部署，点击“作业管理”列表下的“部署作业”，点击“新建任务”跳到“新建任务”页面。

10.选择创建的集群，填写任务名称为“lab_wr01”。按照项目需求选择调度策略，选择已选作业lab_work01。确认后保存。跳转部署作业页面，点击“立即执行”。

11.在部署作业的“执行历史”模块中，可以看到状态显示运行中。

12.选择“集群管理”页面，点击进入创建的集群“lab_JMR01”。点击“监控”进入集群服务状态页面。