实时AI-StreamingML示例:实时异常检测

实时AI-StreamingML示例:实时异常检测目录一. 任务介绍二. 学习背景三. 学习目的四. 操作步骤本示例的github地址:huaweicloud-cs-examples实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力,简单易用,即时执行StreamSQL或自定义作业。无需关心计算集群,无需学习编程技能。完全兼容Apac...
摘要由CSDN通过智能技术生成

实时AI-StreamingML示例:实时异常检测
目录
一. 任务介绍
二. 学习背景
三. 学习目的
四. 操作步骤

本示例的github地址:huaweicloud-cs-examples实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力,简单易用,即时执行StreamSQL或自定义作业。无需关心计算集群,无需学习编程技能。完全兼容Apache Flink和Spark API。

一.任务介绍

在本示例中,从DIS数据源读数据,使用StreamingML的Holt-Winters算法和流式随机森林算法,实时检测异常数据,结果输出到可视化监控大盘。
本示例中你会学习到:

  • 创建并运行Flink SQL(Holt-Winters算法和流式随机森林算法)
  • 完成“异常数据检测”
  • 完成“异常数据”实时告警和可视化展示

二.学习背景

传统的机器学习算法是批量模式的,假设所有的训练数据预先给定,通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模上取得了巨大成功。

当数据规模大时,其计算复杂度高、响应慢,无法用于实时性要求高的应用。在线学习假设训练数据持续到来,通常利用一个训练样本更新当前的模型,大大降低了学习算法的空间复杂度和时间复杂度,实时性强。

在大数据时代,大数据高速增长的特点为机器学习带来了严峻的挑战,在线学习可以有效地解决该问题。

三.学习目的

了解针对流数据和批数据的分布式处理的Flink,SQL实时可视化编辑器
了解实时流的应用。
通过最后的SInk可视化查看实时数据,查找出明显异常的点。即实时异常检测。
应用到实际中可与车联网物联网等实际应用结合,解决实际问题。

四.操作步骤

第一步:创建Flink SQL作业

1. 进入CS控制台
直接进入 CS控制台
华为云官网 -> 产品 -> EI企业智能 -> 实时流计算服务,进入实时流计算的首页后,点击 立即使用
在这里插入图片描述
2. 新建Flink SQL作业
编辑器:Flink SQL作业支持SQL编辑器和SQL可视化编辑器
选择流式随机森林异常检测模板
在这里插入图片描述
3. SQL编辑器

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值