新闻舆情分析
目录
新闻舆情分析 1
一.业务整体流程步骤 1
二.DatatHub对接Mysql数据源(购买同步作业方案) 2
- 操作步骤 2
2.相关Questions: 5
3.官方文档关于附加列的说明 6
三. 实时计算操作 8 - 关于阿里云实时计算平台的操作 8
2.阿里云实时计算平台上的Flink SQL 8
3.其他方案(DataHub自身的函数计算) 11
四.配置MaxCompute同步到Mysql中 14 - 方案一:直接在DataWorks控制台配置 14
- 方案二:写脚本同步任务 15
- Question 17
五. Python相关 17 - MaxCompute的Python相关 17
- DataHub的Python相关 18
- 对于实时计算中的Python相关 18
一.业务整体流程步骤
新闻舆情分析大致流程如下:
(1)数据从Mysql配置同步到DataHub;
在阿里云上通过购买数据同步作业,然后进行配置MySQL与DataHub同步,将MySQL的相关表的把数据同步到DataHub的表中。
(2)DataHub作为数据源表将里面的数据流入到实时计算平台;
在阿里云的实时计算平台上,创建与之前DataHub中表结构一致的数据源表,这里需要加上with参数(进行一些与DataHub相关的参数配置)。
(3)数据在实时计算平台做实时处理,数据处理过程如下:
在阿里云实时计算平台上,申请购买相应的计算资源(Flink集群),有两种方式进行相应的数据处理计算。
1.在阿里云实时技术平台web客户端控制台进行编写相应的SQL语句用与相应的业务逻辑计算。
2.通过java代码编写Flink Datastream,提交任务jar包到阿里云的Flink集群进行相应的逻辑技术(推荐)。
(4)将结果从实时计算平台输出到MaxCompute数据结果表;
在阿里云实时计算平台上创建数据结果表,同样带上With参数,将数据
结果实时的输出到MaxComputer中。
(5)从MaxCompute数据同步到Mysql。
直接在DataWork(MaxCompute Web控制台)的数据集成模块中的离线同步,
进行相关的数据同步配置。
二.DatatHub对接Mysql数据源(购买同步作业方案)
- 操作步骤
1.在阿里云上购买数据同步作业。
2.登录数据传输控制台。(在左侧导航栏,单击数据同步。在同步作业列表页
面顶部,选择数据同步实例所属地域。)
3.定位至已购买的数据同步实例,单击配置同步链路。
配置同步作业的源实例及目标实例信息。
4.单击页面右下角的授权白名单并进入下一步。
此步骤会将DTS服务器的IP地址自动添加到源RDS实例的白名单中,用
于保障DTS服务器能够正常连接源RDS实例。
5.配置同步策略和同步对象。
可选: 将鼠标指针放置在已选择对象框中待同步的表名上,单击对象后出现的编辑,然后在弹出的对话框中设置Shardkey(即用于分区的key)。
上述配置完成后,单击页面右下角的预检查并启动。
在数据同步作业正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动数据同步作业。如果预检查失败,单击具体检查项后的,查看失败详情。根据提示修复后,重新进行预检查。
在预检查对话框中显示预检查通过后,关闭预检查对话框,同步作业将正式开始。
等待同步作业的链路初始化完成,直至处于同步中状态。
6.配置完数据同步作业后,可以对同步到DataHub实例中的数据执行计算分析。
对于dataHub对接MySQL数据源时,官方给出了一些功能上的限制。基本上就是在数据同步的时候,不能对表结构做出相应的调整。
2.相关Question