关于阿里云DataHub详细内容:
(DataHub服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能,让您可以轻松构建基于流式数据的分析和应用。)
DataHub基本介绍
阿里云实时数据分发平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。DataHub服务可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。您可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据,比如:实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果,比如:实时图表、报警信息、实时统计等。
DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点。DataHub与阿里云流计算引擎StreamCompute无缝连接,您可以轻松使用SQL进行流数据分析。
DataHub服务也提供分发流式数据到各种云产品的功能,目前支持分发到MaxCompute(原ODPS),OSS等。
产品优势
- 高吞吐
- 实时性
- 易用性
DataHub服务也提供Restful API规范,您可以用自己的方式实现访问接口。
除了SDK以外,DataHub还提供一些常用的客户端插件,包括:Fluentd,LogStash,Flume等,您可以使用这些客户端工具往DataHub中写入流式数据。
DataHub同时支持强Schema的结构化数据和无类型的非结构化数据,您可以自由选择。
- 高可用
规模自动扩展,不影响对外服务。
数据持久性不低于99.999%。
数据自动多重冗余备份。
- 动态伸缩
- 高安全性
提供多种鉴权和授权机制及白名单、主子账号功能。
- 应用场景
- 流计算StreamCompute
- 流处理应用
您可以把应用计算产生的结果输出到DataHub中,并使用另外一个应用来处理上一个应用生成的流式数据,来构建数据处理流程的DAG。
- 流式数据归档
提示(新用户无需关注):
目前 老版本MaxCompute DataHub已处于待下线状态,不再接入新用户。使用MaxCompute DataHub的用户可以参考之前的使用文档。
自2016年11月21日起,新版本DataHub正式公测上线。
新老DataHub服务迁移手册。
- 公测说明
凡15天无数据写入的Topic将有可能被系统临时关闭通道,再次使用需要重新申请资源。
凡15天未无数据同步的DataConnector将有可能会被系统临时暂停任务,再次使用需要重启任务。
更多精品课程:
阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场)