实时AI-StreamingML示例:实时异常检测
目录
一. 任务介绍
二. 学习背景
三. 学习目的
四. 操作步骤
本示例的github地址:huaweicloud-cs-examples实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力,简单易用,即时执行StreamSQL或自定义作业。无需关心计算集群,无需学习编程技能。完全兼容Apache Flink和Spark API。
一.任务介绍
在本示例中,从DIS数据源读数据,使用StreamingML的Holt-Winters算法和流式随机森林算法,实时检测异常数据,结果输出到可视化监控大盘。
本示例中你会学习到:
- 创建并运行Flink SQL(Holt-Winters算法和流式随机森林算法)
- 完成“异常数据检测”
- 完成“异常数据”实时告警和可视化展示
二.学习背景
传统的机器学习算法是批量模式的,假设所有的训练数据预先给定,通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模上取得了巨大成功。
当数据规模大时,其计算复杂度高、响应慢,无法用于实时性要求高的应用。在线学习假设训练数据持续到来,通常利用一个训练样本更新当前的模型,大大降低了学习算法的空间复杂度和时间复杂度,实时性强。
在大数据时代,大数据高速增长的特点为机器学习带来了严峻的挑战,在线学习可以有效地解决该问题。
三.学习目的
了解针对流数据和批数据的分布式处理的Flink,SQL实时可视化编辑器
了解实时流的应用。
通过最后的SInk可视化查看实时数据,查找出明显异常的点。即实时异常检测。
应用到实际中可与车联网物联网等实际应用结合,解决实际问题。
四.操作步骤
第一步:创建Flink SQL作业
1. 进入CS控制台
直接进入 CS控制台
华为云官网 -> 产品 -> EI企业智能 -> 实时流计算服务,进入实时流计算的首页后,点击 立即使用
2. 新建Flink SQL作业
编辑器:Flink SQL作业支持SQL编辑器和SQL可视化编辑器
选择流式随机森林异常检测模板
3. SQL编辑器