新闻舆情分析整合阿里云大数据平台流程分析

新闻舆情分析
目录
新闻舆情分析 1
一．业务整体流程步骤 1
二．DatatHub对接Mysql数据源（购买同步作业方案） 2

1. 操作步骤 2
   2.相关Questions: 5
   3.官方文档关于附加列的说明 6
   三. 实时计算操作 8
2. 关于阿里云实时计算平台的操作 8
   2.阿里云实时计算平台上的Flink SQL 8
   3.其他方案(DataHub自身的函数计算) 11
   四．配置MaxCompute同步到Mysql中 14
3. 方案一：直接在DataWorks控制台配置 14
4. 方案二：写脚本同步任务 15
5. Question 17
   五． Python相关 17
6. MaxCompute的Python相关 17
7. DataHub的Python相关 18
8. 对于实时计算中的Python相关 18

一．业务整体流程步骤
新闻舆情分析大致流程如下：

(1)数据从Mysql配置同步到DataHub;
在阿里云上通过购买数据同步作业，然后进行配置MySQL与DataHub同步，将MySQL的相关表的把数据同步到DataHub的表中。
(2)DataHub作为数据源表将里面的数据流入到实时计算平台；
在阿里云的实时计算平台上，创建与之前DataHub中表结构一致的数据源表，这里需要加上with参数（进行一些与DataHub相关的参数配置）。
(3)数据在实时计算平台做实时处理，数据处理过程如下：
在阿里云实时计算平台上，申请购买相应的计算资源（Flink集群），有两种方式进行相应的数据处理计算。
1.在阿里云实时技术平台web客户端控制台进行编写相应的SQL语句用与相应的业务逻辑计算。

2.通过java代码编写Flink Datastream,提交任务jar包到阿里云的Flink集群进行相应的逻辑技术(推荐)。
(4)将结果从实时计算平台输出到MaxCompute数据结果表；
在阿里云实时计算平台上创建数据结果表，同样带上With参数，将数据
结果实时的输出到MaxComputer中。
(5)从MaxCompute数据同步到Mysql。
直接在DataWork（MaxCompute Web控制台）的数据集成模块中的离线同步，
进行相关的数据同步配置。

二．DatatHub对接Mysql数据源（购买同步作业方案）

1. 操作步骤
   1.在阿里云上购买数据同步作业。
   2.登录数据传输控制台。（在左侧导航栏，单击数据同步。在同步作业列表页
   面顶部，选择数据同步实例所属地域。）

3.定位至已购买的数据同步实例，单击配置同步链路。
配置同步作业的源实例及目标实例信息。

4.单击页面右下角的授权白名单并进入下一步。
此步骤会将DTS服务器的IP地址自动添加到源RDS实例的白名单中，用
于保障DTS服务器能够正常连接源RDS实例。
5.配置同步策略和同步对象。

可选： 将鼠标指针放置在已选择对象框中待同步的表名上，单击对象后出现的编辑，然后在弹出的对话框中设置Shardkey（即用于分区的key）。

上述配置完成后，单击页面右下角的预检查并启动。
在数据同步作业正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步作业。如果预检查失败，单击具体检查项后的，查看失败详情。根据提示修复后，重新进行预检查。
在预检查对话框中显示预检查通过后，关闭预检查对话框，同步作业将正式开始。
等待同步作业的链路初始化完成，直至处于同步中状态。

6.配置完数据同步作业后，可以对同步到DataHub实例中的数据执行计算分析。

对于dataHub对接MySQL数据源时，官方给出了一些功能上的限制。基本上就是在数据同步的时候，不能对表结构做出相应的调整。

2.相关Question