![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据流
NBI大数据可视化分析
这个作者很懒,什么都没留下…
展开
-
(4)SparkSQL中如何定义UDF和使用UDF
Spark SQL中用户自定义函数,用法和Spark SQL中的内置函数类似;是saprk SQL中内置函数无法满足要求,用户根据业务需求自定义的函数。原创 2022-09-26 10:21:54 · 730 阅读 · 0 评论 -
(2)sparkstreaming滚动窗口和滑动窗口演示
二、滑动窗口(Sliding Windows)与滚动窗口类似,滑动窗口的大小也是固定的。定义滑动窗口的参数有两个:除去窗口大小(window size)之外,还有一个滑动步长(window slide),代表窗口计算的频率。窗口之间没有重叠,也不会有间隔,是“首尾相接”的状态。.window(Seconds(10),Seconds(10)) 10秒的窗口大小和10秒的滑动大小,不存在重叠部分。.window(Seconds(10),Seconds(5)) 10秒的窗口大小和5秒的活动大小,存在重叠部分。原创 2022-09-05 15:13:28 · 1453 阅读 · 0 评论 -
(1)sparkstreaming结合sparksql读取socket实时数据流
Spark Streaming是构建在Spark Core的RDD基础之上的,与此同时Spark Streaming引入了一个新的概念:DStream(Discretized Stream,离散化数据流),表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型,在内部实现上,Spark Streaming会对输入数据按照时间间隔(如1秒)分段,每一段数据转换为Spark中的RDD,这些分段就是Dstream,并且对DStream的操作都最终转变为对相应的RDD的操作。...原创 2022-08-31 11:37:44 · 536 阅读 · 0 评论 -
(6)Flink CEP SQL模拟账号短时间内异地登录风控预警
本篇文章我们来模拟一个真实的风险识别场景,模拟XX平台上可能出现盗号行为。技术实现方案:(1)通过将xxx平台用户登录时的登录日志发送到kafka(本文代码演示用的socket);(2)Flink CEP SQL规则引擎中定义好风控识别规则,接入kafka数据源,比如一个账号在5分钟内,在多个不同地区有登录行为,那我们认为该账号被盗;(3)Flink CEP将识别到的风险数据可以进行下发,为数据应用层提供数据服务,如:风控系统,数据大屏,态势感知…(1)我们先来定义一个数据生产者,模拟用户登录,原创 2022-08-30 10:05:44 · 553 阅读 · 0 评论 -
(4)Flink CEP SQL贪婪词量演示
(3)使用贪婪词量 {n,}(n或者更多行(n≥O))(2)使用贪婪词量 {n}(严格匹配n行)(1)使用贪婪词量 *(匹配0行或多行)贪婪词量 *(匹配0行或多行)原创 2022-08-19 18:46:01 · 499 阅读 · 0 评论 -
(3)Flink CEP SQL宽松近邻代码演示
需要借着贪婪词量来实现宽松近邻效果。(3)构造数据,定义事件组合。(2)定义一个消息对象。原创 2022-08-15 10:28:25 · 139 阅读 · 0 评论 -
(2)Flink CEP SQL严格近邻代码演示-风控系统构建利器
(2)Flink CEP SQL严格近邻代码演示-风控系统构建利器原创 2022-08-13 11:42:38 · 514 阅读 · 0 评论 -
(1)Flink CEP复杂事件处理引擎介绍
复杂事件处理(CEP)既是把不同的数据看做不同的事件,并且通过分析事件之间的关系建立起一套事件关系序列库。利用过滤,聚合,关联性,依赖,层次等技术,最终实现由简单关系产生高级事件关系。在Flink CEP中匹配模式分为严格近邻模式和宽松近邻模式。在可编程方面,Flink同时推出了Flink SQL CEP,开发者可以通过较为属性的SQL语法快速构建各类CEP事件组合应用。因此,在它们之间不能存在没有映射到A或B的行。Flink CEP能够利用的场景较多,在实际业务场景中也有了广泛的使用案例与经验积累。...原创 2022-08-12 10:38:16 · 703 阅读 · 0 评论 -
(8)FlinkSQL自定义UDF
Flink提供了自定义函数的基础能力,在需要满足特殊业务场景需求时,根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程:原创 2022-08-08 10:29:38 · 236 阅读 · 0 评论 -
(7)FlinkSQL将kafka数据写入到mysql方式二
代码】(7)FlinkSQL将kafka数据写入到mysql方式二。原创 2022-08-08 10:26:16 · 234 阅读 · 0 评论 -
(6)FlinkSQL将kafka数据写入到mysql方式一
这里不展开zookeeper、kafka安装配置。(1)首先需要启动zookeeper和kafka。(4)从kafka接入数据,并写入到mysql。(2)定义一个kafka生产者。(3)定义一个消息对象。原创 2022-08-08 10:23:56 · 897 阅读 · 1 评论 -
(5)FlinkSQL将socket数据写入到mysql方式二
代码】(5)FlinkSQL将socket数据写入到mysql方式二。原创 2022-08-08 10:16:15 · 261 阅读 · 0 评论 -
(4)FlinkSQL将socket数据写入到mysql方式一
本章节主要演示从socket接收数据,通过滚动窗口每30秒运算一次窗口数据,然后将结果写入Mysql数据库。(3)从socket端接收数据,并设置30秒触发执行一次窗口运算。(5)效果演示,每30秒往数据库写一次数据。(2)编写socket代码,模拟数据发送。(4)定义一个写入到mysql的sink。(1)准备一个实体对象,消息对象。...原创 2022-08-08 10:13:32 · 527 阅读 · 0 评论 -
(3)FlinkSQL滑动窗口Demo演示
滑动窗口(Sliding Windows)与滚动窗口类似,滑动窗口的大小也是固定的。区别在于,窗口之间并不是首尾相接的,而是可以“错开”一定的位置。定义滑动窗口的参数有两个:除去窗口大小(window size)之外,还有一个滑动步长(window slide),代表窗口计算的频率。场景:接收通过socket发送过来的数据,定义一个1小时的时间窗口大小,每30秒滑动触发运算一次。(3)从socket端接收数据,并设置30秒触发执行一次窗口运算。滚动窗口和滑动窗口的区别在于一个没有重叠部分,一个有重叠部分。.原创 2022-08-06 19:18:58 · 813 阅读 · 0 评论 -
(2)FlinkSQL滚动窗口Demo演示
滚动窗口(Tumbling Windows) 滚动窗口有固定的大小,是一种对数据进行均匀切片的划分方式。窗口之间没有重叠,也不会有间隔,是“首尾相接”的状态。滚动窗口可以基于时间定义,也可以基于数据个数定义;需要的参数只有一个,就是窗口的大小(window size)。场景:接收通过socket发送过来的数据,每30秒触发一次窗口计算逻辑。(3)从socket端接收数据,并设置30秒触发执行一次窗口运算。(2)编写socket代码,模拟数据发送。(1)准备一个实体对象,消息对象。...原创 2022-08-06 19:14:32 · 353 阅读 · 0 评论 -
基于SpringBoot实现KafKa的生产者和消费者示例
1.配置pom包<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>2.配置application.yml kafka部分:kafka:...原创 2019-07-12 12:01:59 · 1232 阅读 · 0 评论 -
用了它,你不再羡慕别人家的数据可视化效果多好看
数据可视化是数据领域一个重要的分支,目的是“让数据说话”,展现数据之美。好的图表会说话,好的图表可以抓住用户的心。研究发现:人脑处理图片信息是同步进行的,而处理文字信息则是一步一步循序渐进的,而且一篇文字下来,大部分人只记住了其中的20%;人在看报纸时,99%的文字信息会自动被过滤掉,脑子里只残留了可怜的1%;人脑处理图片的速度是处理文字的6000倍。也就是说,一篇6000字的文章需要10...原创 2019-07-17 15:40:05 · 132 阅读 · 0 评论 -
ElasticSearch群集搭建介绍,实现高可用
ElasticSearch简介:ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,...原创 2019-08-02 14:49:08 · 287 阅读 · 0 评论 -
SpringBoot+SparkSQL操作JSON字符串
在SpringBoot中通过maven来做包管理构建,有几个地方需要注意一下的,需要解决包之间的冲突,否则运行时会报错:(1)sparkSQL中需要先排除两个包: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</ar...原创 2019-07-18 14:36:38 · 1648 阅读 · 0 评论