NBI大数据可视化

Spark SQL中用户自定义函数，用法和Spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。

2）通过sparkstreaming接入kafka数据流，定义时间窗口和计算窗口大小，业务计算逻辑处理；1）我们通过kafka与各个业务系统的数据对接，将各系统中的数据实时接到kafka；4）通过可视化平台接入mysql数据库，这里使用的是NBI大数据可视化构建平台；5）在平台上通过拖拽式构建各种数据应用，数据展示；sparkstreaming数据流计算。定义一个kafka生产者，模拟数据源。3）将结果数据写入到mysql；根据业务需要，定义各种消息对象。

Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型，在内部实现上，Spark Streaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spark中的RDD，这些分段就是Dstream，并且对DStream的操作都最终转变为对相应的RDD的操作。...

本篇文章我们来模拟一个真实的风险识别场景，模拟XX平台上可能出现盗号行为。技术实现方案：（1）通过将xxx平台用户登录时的登录日志发送到kafka（本文代码演示用的socket）；（2）Flink CEP SQL规则引擎中定义好风控识别规则，接入kafka数据源，比如一个账号在5分钟内，在多个不同地区有登录行为，那我们认为该账号被盗；（3）Flink CEP将识别到的风险数据可以进行下发，为数据应用层提供数据服务，如：风控系统，数据大屏，态势感知…（1）我们先来定义一个数据生产者，模拟用户登录，

从匹配成功的事件序列中最后一个对应于patternItem的事件开始进行下一次匹配。从匹配成功的事件序列中第一个对应于patternItem的事件开始进行下一次匹配。从匹配成功的事件序列中的最后一个事件的下一个事件开始进行下一次匹配。从匹配成功的事件序列中的第一个事件的下一个事件开始进行下一次匹配。

（3）使用贪婪词量 {n，}（n或者更多行(n≥O)）（2）使用贪婪词量 {n}（严格匹配n行）（1）使用贪婪词量 *（匹配0行或多行）贪婪词量 *（匹配0行或多行）

需要借着贪婪词量来实现宽松近邻效果。（3）构造数据，定义事件组合。（2）定义一个消息对象。

（2）Flink CEP SQL严格近邻代码演示-风控系统构建利器

复杂事件处理(CEP)既是把不同的数据看做不同的事件，并且通过分析事件之间的关系建立起一套事件关系序列库。利用过滤，聚合，关联性，依赖，层次等技术，最终实现由简单关系产生高级事件关系。在Flink CEP中匹配模式分为严格近邻模式和宽松近邻模式。在可编程方面，Flink同时推出了Flink SQL CEP，开发者可以通过较为属性的SQL语法快速构建各类CEP事件组合应用。因此，在它们之间不能存在没有映射到A或B的行。Flink CEP能够利用的场景较多，在实际业务场景中也有了广泛的使用案例与经验积累。...

Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：

代码】（7）FlinkSQL将kafka数据写入到mysql方式二。

这里不展开zookeeper、kafka安装配置。（1）首先需要启动zookeeper和kafka。（4）从kafka接入数据，并写入到mysql。（2）定义一个kafka生产者。（3）定义一个消息对象。

代码】（5）FlinkSQL将socket数据写入到mysql方式二。

本章节主要演示从socket接收数据，通过滚动窗口每30秒运算一次窗口数据，然后将结果写入Mysql数据库。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。（5）效果演示，每30秒往数据库写一次数据。（2）编写socket代码，模拟数据发送。（4）定义一个写入到mysql的sink。（1）准备一个实体对象，消息对象。...

滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。定义滑动窗口的参数有两个：除去窗口大小（window size）之外，还有一个滑动步长（window slide），代表窗口计算的频率。场景：接收通过socket发送过来的数据，定义一个1小时的时间窗口大小，每30秒滑动触发运算一次。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。滚动窗口和滑动窗口的区别在于一个没有重叠部分，一个有重叠部分。.

滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。（2）编写socket代码，模拟数据发送。（1）准备一个实体对象，消息对象。...

FlinkSQL的出现，极大程度上降低了Flink的编程门槛，更加容易理解和掌握使用。今天将自己的笔记分享出来，希望能帮助在这方面有需要的朋友。（1）首先引入POM依赖： （2）编写代码（3）执行结果：...

NBI可视化平台快速入门教程（四）数据可视化编辑器介绍前面几篇文章介绍了数据准备，接下来介绍如何搭建数据可视化页面（1）通过可视化入口进入到可视化编辑器模块：（2）可视化编辑器介绍（2.1）项目列表，项目列表是用于存放可视化页面，创建后的可视化页面将会出现在这里（2.2）支持创建分组，支持拖拽排序（2.3）页面右键功能介绍（2.3.1）目录节点右键，可以在此目录下（1）新建仪表盘；（2）重名名；（3）删除目录；（4）添加子级分组；（2.3.2）页面节点右键· 打开仪表盘（编辑）；· 预览仪表盘（制作后

NBI可视化平台快速入门教程（二）工作表创建1.接着上篇文章，在创建的数据源节点名称上右键，选择“基于（基于 SQL 语句创建工作表）”：1.1或者在表节点上右键，创建工作表（系统会自动生成一条快捷SQL语句）2.进入创建工作表界面：3.保存后，会在工作表节点出现NBI大数据可视化分析平台作为新一代自助式、探索式分析工具，在产品设计理念上始终从用户的角度出发，一直围绕简单、易用，强调交互分析为目的的新型产品。我们将数据分析的各环节（数据准备、自服务数据建模、探索式分析、权限管控）融入到系统

什么是时序数据库先来介绍什么是时序数据。时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性；往未来看可以做大数据分析，机器学习，实现预测和预警。时序数据库就是存放时序数据的数据库，并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。对比传统数据库仅仅记录了数据的当前值，时序数据库则记录了所有的历史数据。同时时序数据的查询也总是会带上时间作为过滤条件。时序数据库的场景所有...

国内首款基于.NET Core平台的大数据可视化分析工具平台NBI一站式自服务大数据可视化分析平台是一款基于.NET Core开发的自助式可视化分析大屏展示平台，可以通过平台零代码或低代码方式构建各类数据展示分析；NBI一站式自服务大数据可视化分析平台提供了多种灵活的部署方式，支持安装包模式安装、手动安装、docker镜像安装NBI一站式自服务大数据可视化分析平台跨平台性：支持部署在Windows、Linux、MacOS等操作系统上运行NBI一站式自服务大数据可视化分析平台V4.6.5主要更新内

Flink：Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视化：NBI一站式自服务大数据可视化分析平台是一款自助式可视化分