5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)

免费开通大数据服务：https://www.aliyun.com/product/odps

DataHub服务是MaxCompute提供的流数据服务, 并提供把实时数据准实时归档到MaxCompute中功能, 在延时上可以做到5分钟数据在MaxCompute中可见；相对于MaxCompute之前提供的批量数据接口Tunnel实时性有了极大的提高。本文简要介绍如何快速通过DataHub创建实时数据写入MaxCompute的数据通道。

准备MaxCompute表

假设我们准备的MaxCompute表是如下结构

create table test_stream_in (data string) partitioned by (ds string);

大数据计算服务(MaxCompute)

快速、完全托管的TB/PB级数据仓库解决方案，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

了解更多

登录DataHub Web控制台进行操作

弹内的DataHub服务web控制台地址地址：https://datahub.console.aliyun.com/datahub
目前请使用AK登录。

进入创建Project详情页面, 点击创建Topic

在弹出的选项卡中进行如下操作

• 创建方式 选中 “导入MaxCompute表结构”
• 填写我们需要写入的MaxComputed项目，MaxCompute表，AccessId，AccessKey 信息
• 在选项中勾选上 “自动创建Connector”
• 然后点击导入表结构，可以看到MaxCompute表的结构就自动填到了Topic选项中
• 填写Topic名称，Shard数量，生命周期，备注等
• 点击创建

查看创建成功的Topic和Connector

现在就可以在Topic的列表中查询到我们之前创建的Topic，并且这个Topic已经默认创建了一个归档MaxCompute的Connector。

使用SDK/工具写入实时数据

请大家参考：链接