新闻舆情分析整合阿里云大数据平台流程分析

新闻舆情分析
目录
新闻舆情分析 1
一.业务整体流程步骤 1
二.DatatHub对接Mysql数据源(购买同步作业方案) 2

  1. 操作步骤 2
    2.相关Questions: 5
    3.官方文档关于附加列的说明 6
    三. 实时计算操作 8
  2. 关于阿里云实时计算平台的操作 8
    2.阿里云实时计算平台上的Flink SQL 8
    3.其他方案(DataHub自身的函数计算) 11
    四.配置MaxCompute同步到Mysql中 14
  3. 方案一:直接在DataWorks控制台配置 14
  4. 方案二:写脚本同步任务 15
  5. Question 17
    五. Python相关 17
  6. MaxCompute的Python相关 17
  7. DataHub的Python相关 18
  8. 对于实时计算中的Python相关 18

一.业务整体流程步骤
新闻舆情分析大致流程如下:

(1)数据从Mysql配置同步到DataHub;
在阿里云上通过购买数据同步作业,然后进行配置MySQL与DataHub同步,将MySQL的相关表的把数据同步到DataHub的表中。
(2)DataHub作为数据源表将里面的数据流入到实时计算平台;
在阿里云的实时计算平台上,创建与之前DataHub中表结构一致的数据源表,这里需要加上with参数(进行一些与DataHub相关的参数配置)。
(3)数据在实时计算平台做实时处理,数据处理过程如下:
在阿里云实时计算平台上,申请购买相应的计算资源(Flink集群),有两种方式进行相应的数据处理计算。
1.在阿里云实时技术平台web客户端控制台进行编写相应的SQL语句用与相应的业务逻辑计算。

2.通过java代码编写Flink Datastream,提交任务jar包到阿里云的Flink集群进行相应的逻辑技术(推荐)。
(4)将结果从实时计算平台输出到MaxCompute数据结果表;
在阿里云实时计算平台上创建数据结果表,同样带上With参数,将数据
结果实时的输出到MaxComputer中。
(5)从MaxCompute数据同步到Mysql。
直接在DataWork(MaxCompute Web控制台)的数据集成模块中的离线同步,
进行相关的数据同步配置。

二.DatatHub对接Mysql数据源(购买同步作业方案)

  1. 操作步骤
    1.在阿里云上购买数据同步作业。
    2.登录数据传输控制台。(在左侧导航栏,单击数据同步。在同步作业列表页
    面顶部,选择数据同步实例所属地域。)

3.定位至已购买的数据同步实例,单击配置同步链路。
配置同步作业的源实例及目标实例信息。

4.单击页面右下角的授权白名单并进入下一步。
此步骤会将DTS服务器的IP地址自动添加到源RDS实例的白名单中,用
于保障DTS服务器能够正常连接源RDS实例。
5.配置同步策略和同步对象。

可选: 将鼠标指针放置在已选择对象框中待同步的表名上,单击对象后出现的编辑,然后在弹出的对话框中设置Shardkey(即用于分区的key)。

上述配置完成后,单击页面右下角的预检查并启动。
在数据同步作业正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动数据同步作业。如果预检查失败,单击具体检查项后的,查看失败详情。根据提示修复后,重新进行预检查。
在预检查对话框中显示预检查通过后,关闭预检查对话框,同步作业将正式开始。
等待同步作业的链路初始化完成,直至处于同步中状态。

6.配置完数据同步作业后,可以对同步到DataHub实例中的数据执行计算分析。

对于dataHub对接MySQL数据源时,官方给出了一些功能上的限制。基本上就是在数据同步的时候,不能对表结构做出相应的调整。

2.相关Question

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值