txt文档传到华为云服务器,最佳实践-华为云帮助中心-文档.pdf

MapReduce 服务

最佳实践

发布日期 2019-01-30

MapReduce 服务

最佳实践 目 录

目 录

1 使用 Spark 实现车联网车主驾驶行为分析 1

2 基于 MRS 实现道路交通和车辆状况数据分析8

2.1 场景概述 8

2.2 实现方法 9

2.2.1 申请虚拟私有云 9

2.2.2 申请MRS 流式集群10

2.2.3 使用 Kafka 实时收集数据 14

2.2.4 启动 Storm 分析套牌车程序 16

2.2.5 启动 Storm 计算卡口流量程序 18

2.2.6 申请MRS 分析集群19

2.2.7 分析卡口流量和车辆出行路径 21

2.2.8 通过 WebUI 显示数据和报告27

2019-01-30 ii

MapReduce 服务

最佳实践 1 使用 Spark 实现车联网车主驾驶行为分析

1 使用Spark 实现车联网车主驾驶行为分析

本手册基于华为云MapReduce服务实践所编写，用于指导您使用Spark实现车主驾驶行

为分析。

本实践基本内容如下所示：

1. 场景描述

2. 第一步：创建集群

3. 第二步：准备Spark样例程序和样例数据

4. 第三步：创建作业

5. 第四步：查看作业执行结果

详细视频教程请参见：/videos/

0c3cf8d12547469691b63bd1d1aba8bf

场景描述

目的：

了解MRS 的基本功能，利用MRS服务的Spark组件，对车主的驾驶行为进行分析统计，

得到用户驾驶行为的分析结果。

场景：

本次实战的原始数据为车主的驾驶行为信息，包括车主在日常的驾驶行为中，是否急

加速、急减速、空挡滑行、超速、疲劳驾驶等信息。通过Spark组件的强大的分析能

力，分析统计指定时间段内，车主急加速、急减速、空挡滑行、超速、疲劳驾驶等违

法行为的次数。

创建集群

步骤1 登录华为云管理控制台。

步骤2 在“服务列表”中，选择“EI企业智能 > MapReduce服务”。

步骤3 单击页面右上角“购买集群”，进入购买集群页面。

参见表1-1配置集群基本信息。

2019-01-30 1

MapReduce 服务

最佳实践 1 使用 Spark 实现车联网车主驾驶行为分析

表1-1 配置集群基本信息

参数名称 配置方式

计费模式 按需计费

当前区