- 博客(71)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 BI系统对企业有什么作用
NBI拥有几十种传统图形和新型大数据图形组件（如桑 基图， treemap、层级聚类图、旭日图、热力矩 阵、日历矩阵、gis等等）能让您轻松构建各类炫 酷的数据大屏。我们可以把数据分析比作做体检，体检中使用的各种设备就好比使用的各类大数据技术和工具，体检的各项器官好比各个业务板块的数据，体检的结果。报告可以清楚的知道有哪些指标合格，哪些指标不合格，这些不合格的指标是高了，还是低了都能真实的反应出来，从而指导医生对症下药。更多信息请参考（http://www.easydatavis.com）
2023-04-03 16:29:34
140
原创 （4）SparkSQL中如何定义UDF和使用UDF
Spark SQL中用户自定义函数，用法和Spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。
2022-09-26 10:21:54
729
原创 （3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示
2）通过sparkstreaming接入kafka数据流，定义时间窗口和计算窗口大小，业务计算逻辑处理；1）我们通过kafka与各个业务系统的数据对接，将各系统中的数据实时接到kafka；4）通过可视化平台接入mysql数据库，这里使用的是NBI大数据可视化构建平台；5）在平台上通过拖拽式构建各种数据应用，数据展示；sparkstreaming数据流计算。定义一个kafka生产者，模拟数据源。3）将结果数据写入到mysql；根据业务需要，定义各种消息对象。
2022-09-10 15:00:18
1932
1
原创 （2）sparkstreaming滚动窗口和滑动窗口演示
二、滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。定义滑动窗口的参数有两个：除去窗口大小（window size）之外，还有一个滑动步长（window slide），代表窗口计算的频率。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。.window(Seconds(10),Seconds(10)) 10秒的窗口大小和10秒的滑动大小，不存在重叠部分。.window(Seconds(10),Seconds(5)) 10秒的窗口大小和5秒的活动大小，存在重叠部分。
2022-09-05 15:13:28
1442
原创 （1）sparkstreaming结合sparksql读取socket实时数据流
Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型，在内部实现上，Spark Streaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spark中的RDD，这些分段就是Dstream，并且对DStream的操作都最终转变为对相应的RDD的操作。...
2022-08-31 11:37:44
528
原创 （6）Flink CEP SQL模拟账号短时间内异地登录风控预警
本篇文章我们来模拟一个真实的风险识别场景，模拟XX平台上可能出现盗号行为。技术实现方案：（1）通过将xxx平台用户登录时的登录日志发送到kafka（本文代码演示用的socket）；（2）Flink CEP SQL规则引擎中定义好风控识别规则，接入kafka数据源，比如一个账号在5分钟内，在多个不同地区有登录行为，那我们认为该账号被盗；（3）Flink CEP将识别到的风险数据可以进行下发，为数据应用层提供数据服务，如：风控系统，数据大屏，态势感知…（1）我们先来定义一个数据生产者，模拟用户登录，
2022-08-30 10:05:44
552
原创 （5）Flink CEP SQL四种匹配模式效果演示
从匹配成功的事件序列中最后一个对应于patternItem的事件开始进行下一次匹配。从匹配成功的事件序列中第一个对应于patternItem的事件开始进行下一次匹配。从匹配成功的事件序列中的最后一个事件的下一个事件开始进行下一次匹配。从匹配成功的事件序列中的第一个事件的下一个事件开始进行下一次匹配。
2022-08-24 15:33:20
641
原创 （4）Flink CEP SQL贪婪词量演示
（3）使用贪婪词量 {n，}（n或者更多行(n≥O)）（2）使用贪婪词量 {n}（严格匹配n行）（1）使用贪婪词量 *（匹配0行或多行）贪婪词量 *（匹配0行或多行）
2022-08-19 18:46:01
498
原创 （1）Flink CEP复杂事件处理引擎介绍
复杂事件处理(CEP)既是把不同的数据看做不同的事件，并且通过分析事件之间的关系建立起一套事件关系序列库。利用过滤，聚合，关联性，依赖，层次等技术，最终实现由简单关系产生高级事件关系。在Flink CEP中匹配模式分为严格近邻模式和宽松近邻模式。在可编程方面，Flink同时推出了Flink SQL CEP，开发者可以通过较为属性的SQL语法快速构建各类CEP事件组合应用。因此，在它们之间不能存在没有映射到A或B的行。Flink CEP能够利用的场景较多，在实际业务场景中也有了广泛的使用案例与经验积累。...
2022-08-12 10:38:16
695
原创 （8）FlinkSQL自定义UDF
Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：
2022-08-08 10:29:38
233
原创 （6）FlinkSQL将kafka数据写入到mysql方式一
这里不展开zookeeper、kafka安装配置。（1）首先需要启动zookeeper和kafka。（4）从kafka接入数据，并写入到mysql。（2）定义一个kafka生产者。（3）定义一个消息对象。
2022-08-08 10:23:56
891
1
原创 （4）FlinkSQL将socket数据写入到mysql方式一
本章节主要演示从socket接收数据，通过滚动窗口每30秒运算一次窗口数据，然后将结果写入Mysql数据库。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。（5）效果演示，每30秒往数据库写一次数据。（2）编写socket代码，模拟数据发送。（4）定义一个写入到mysql的sink。（1）准备一个实体对象，消息对象。...
2022-08-08 10:13:32
526
原创 （3）FlinkSQL滑动窗口Demo演示
滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。定义滑动窗口的参数有两个：除去窗口大小（window size）之外，还有一个滑动步长（window slide），代表窗口计算的频率。场景：接收通过socket发送过来的数据，定义一个1小时的时间窗口大小，每30秒滑动触发运算一次。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。滚动窗口和滑动窗口的区别在于一个没有重叠部分，一个有重叠部分。.
2022-08-06 19:18:58
812
原创 （2）FlinkSQL滚动窗口Demo演示
滚动窗口（Tumbling Windows） 滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑。（3）从socket端接收数据，并设置30秒触发执行一次窗口运算。（2）编写socket代码，模拟数据发送。（1）准备一个实体对象，消息对象。...
2022-08-06 19:14:32
351
原创 （1）通过FlinkSQL将数据写入mysql demo
FlinkSQL的出现，极大程度上降低了Flink的编程门槛，更加容易理解和掌握使用。今天将自己的笔记分享出来，希望能帮助在这方面有需要的朋友。（1）首先引入POM依赖： （2）编写代码（3）执行结果：...
2022-08-06 19:10:41
731
原创 NBI可视化平台快速入门教程（五）编辑器功能操作介绍
NBI可视化平台快速入门教程（五）编辑器功能操作介绍（1）在NBI可视化平台中设置页面大小、背景颜色等（2）目前系统内置三套皮肤可供选择使用（3）页面背景支持纯色背景、渐变背景、图片背景（4）预览时自适应 浏览页面时，系统会自动计算页面大小和组件大小，达到自适应效果（注意：等比例自适应效果最佳，比如页面大小设置的是16:9的大小，然在不同16:9分辨率下效果适配效果最好，比如19201080大小的页面在1366768上浏览 效果最佳）（5）拖拽组件到画布（6）拖拽一个柱状图组件到画布，然后在组件上
2022-06-30 15:55:12
173
原创 NBI可视化平台快速入门教程（四）数据可视化编辑器介绍
NBI可视化平台快速入门教程（四）数据可视化编辑器介绍前面几篇文章介绍了数据准备，接下来介绍如何搭建数据可视化页面（1）通过可视化入口进入到可视化编辑器模块：（2）可视化编辑器介绍（2.1）项目列表，项目列表是用于存放可视化页面，创建后的可视化页面将会出现在这里（2.2）支持创建分组，支持拖拽排序（2.3）页面右键功能介绍（2.3.1）目录节点右键，可以在此目录下（1）新建仪表盘；（2）重名名；（3）删除目录；（4）添加子级分组；（2.3.2）页面节点右键· 打开仪表盘（编辑）；· 预览仪表盘（制作后
2022-06-16 18:31:46
186
原创 NBI可视化平台快速入门教程（三）带参工作表创建
NBI可视化平台快速入门教程（三）带参工作表创建1.如何创建带参工作表参数格式 参数名称参数名称参数名称，比如2.测试验证带参工作表是否正确3.输入测试参数4.多参数演示，多参数查询无非就是按照参数格式标准多接入几个查询条件，如5.测试验证6.测试无误后，保存即可。工作表的作用在于给NBI可视化构建模块提供数据支撑，为图形组件提供数据。在线体验...
2022-06-07 10:46:48
93
原创 NBI可视化平台快速入门教程（二）工作表创建
NBI可视化平台快速入门教程（二）工作表创建1.接着上篇文章，在创建的数据源节点名称上右键，选择“基于（基于 SQL 语句创建工作表）”：1.1或者在表节点上右键，创建工作表（系统会自动生成一条快捷SQL语句）2.进入创建工作表界面：3.保存后，会在工作表节点出现NBI大数据可视化分析平台作为新一代自助式、探索式分析工具，在产品设计理念上始终从用户的角度出发，一直围绕简单、易用，强调交互分析为目的的新型产品。我们将数据分析的各环节（数据准备、自服务数据建模、探索式分析、权限管控）融入到系统
2022-05-30 11:17:33
163
原创 NBI可视化平台快速入门教程（一）数据准备
NBI可视化平台快速入门教程，数据准备原创2022-05-26 18:00·NBI大数据可视化分析NBI可视化平台快速入门教程-数据准备1. 数据准备这里使用 Excel 作为演示数据：NBI可视化平台快速入门教程，数据准备数据样本：NBI可视化平台快速入门教程，数据准备2.登录系统NBI可视化平台快速入门教程，数据准备3.进入系统后，根据向导，进入数据准备模块NBI可视化平台快速入门教程，数据准备4.选择对应数据源类型，这里我们选Excel数据源类型
2022-05-27 11:10:17
393
原创 NBI可视化平台内置多种风格多套模板，做数据可视化不费劲
NBI大数据可视化分析平台作为新一代自助式、探索式分析工具，在产品设计理念上始终从用户的角度出发，一直围绕简单、易用，强调交互分析为目的的新型产品。我们将数据分析的各环节（数据准备、自服务数据建模、探索式分析、权限管控）融入到系统当中，让企业有序的、安全的管理数据和分析数据。
2022-02-23 11:05:35
827
原创 推荐一款模板丰富、组件丰富、功能丰富的数据可视化工具
数据分析，数据可视化是当今企业的必备需求和应当拥有的核心能力，如何让企业能快速掌握和拥有这项能力是NBI可视化一直在思考，一直在努力的方向，NBI可视化团队拥有多年的B端服务经验，深知B端业务的复杂性和特殊性问题，让我们在设计NBI可视化产品时会贴合场景去思考，如何快速、低门槛的适配企业各种场景的使用，可视化绝对不是像网上说的或者培训机构讲的那样，会点python代码，拥有几套模板就能解决的问题，更多需要考虑B端企业的真实需求与现状如：（1）企业现有业务数据如何接入的问题，现状是数据可能分散在不同的业务系
2021-10-27 16:55:37
199
原创 NBI可视化解锁一天完成几十张数据可视化报告的秘密
随着国内信息化的快速发展，各行各业的信息化建设程度越来越高，随之而来对信息化和智能化提出了更高的要求，从信息化的管理阶段上升到以数据驱动，数据洞察，数据价值为核心的层面，那么在现阶段我相信大数据、可视化、数据大屏等行业名词大家不再陌生，这些技术或产品也在逐步渗透到各行业中，为行业赋能。基于一个高速发展的社会组织里面，一切以快为胜，我们一直在思考如何让每一家企业采用极低的成本，极快的速度，极其简单的方式实现数据洞察，数据应用呢，这个是我今天想要和大家分享的内容。我们先来了解一下数据分析的几个步骤：（1）
2021-09-03 10:34:06
180
原创 NBI可视化集成clickhouse，实现百亿级数据分析能力
什么是ClickHouseClickHouse是一款MPP架构的列式存储数据库，并允许使用SQL查询实时生成分析报告，也是一个新的开源列式数据库。随着业务的迅猛增长，Yandex.Metrica目前已经成为世界第三大Web流量分析平台，每天处理超过200亿个跟踪事件。能够拥有如此惊人的体量，在它背后提供支撑的ClickHouse功不可没。ClickHouse已经为Yandex.Metrica存储了超过20万亿行的数据，90%的自定义查询能够在1秒内返回，其集群规模也超过了400台服务器。虽然ClickH
2021-07-23 15:11:29
417
原创 利用NBI可视化+influxDB时序数据库构建物联网大数据分析平台
什么是时序数据库先来介绍什么是时序数据。时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性；往未来看可以做大数据分析，机器学习，实现预测和预警。时序数据库就是存放时序数据的数据库，并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。对比传统数据库仅仅记录了数据的当前值，时序数据库则记录了所有的历史数据。同时时序数据的查询也总是会带上时间作为过滤条件。时序数据库的场景所有...
2021-05-14 17:13:23
677
2
原创 利用NBI大数据可视化工具做RFM模型分析，洞察数据价值，驱动业务增长
我们先来了解一下什么是RFM模型：RFM模型是衡量客户价值和客户创利能力的重要工具和手段。在众多的客户关系管理的分析模式中，RFM模型是被广泛提到的。该数据模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱3项指标来描述该客户的价值状况。最近一次消费频率（Recency）消费频率（Frequency）消费金额（Monetary）接下来根据上面三项指标做会员分类：我们把这3个指标按价值从低到高排序，并把这3个指标作为XYZ坐标轴，就可以把空间分为8部分，这样就可以把用户分为8类：到
2021-04-24 14:15:03
387
原创 利用Python+NBI大数据可视化工具实现采集到分析整体方案
大家可能都比较熟悉python这门技术语言，确实在大数据火起来之后python的热度一度高涨，不可否认的是python在数据采集这块真的很好用，很方便。那今天给大家介绍一下通过python采集数据，通过NBI大数据可视化工具做数据分析是如何实现的，首先我们看一下整体方案架构：思路大致介绍：（1）通过编写python采集脚本，实现数据采集和数据清洗工作；（2）将清洗好的数据存储到数据库；（3）通过NBI大数据可视化分析平台接入数据存储库，调取数据；（4）通.
2021-03-05 16:38:18
271
1
原创 对数据可视化工具应当具备的核心能力和价值的几点思考
可能大家都听说过这样一句话"字不如表、表不如图"，其实背后所表达出来的意思是对于复杂难懂且体量庞大的数据而言，图表的信息量要大得多，这也是数据可视化的核心价值所在。数据可视化价值准确高效直观的传递传递数据中的规律和信息； 实时监控系统各项数据指标，实现数据的自解释； 基于可视化洞察数据规律，指定精准的运营策略；基础构建原则简单的步骤如下：基于业务需求，完成可视化数据处理（收集，规则，定时任务等）。借助常用的图表进行组合展示，但是也有一些注意事项如下：可视化的数据要关联核心的有业务价值的
2020-12-21 15:28:47
424
原创 一款介于无代码与低代码之间的大数据可视化分析平台
什么是低代码平台：“低代码开发”旨在开发人员可以通过编写少量代码就可以快速生成应用程序的一种方法。使用低代码开发平台类似于使用IDE，因为它包含了一套可以供开发人员直接使用的功能，和一套供开发人员使用的工具。然而，它实际上能提供的远远超过一个传统的IDE。简单来说，低代码开发就是将已有代码的可视化模块拖放到工作流中以创建应用程序的过程。由于它可以完全取代传统的手工编码应用程序的开发方法，技术娴熟的开发人员可以更智能、更高效地工作，而不会被重复的编码束缚住。相反，他们可以将精力集中于创建应用程序的10
2020-08-24 21:38:36
596
原创 国内首款基于.NET Core平台的大数据可视化分析工具平台
国内首款基于.NET Core平台的大数据可视化分析工具平台NBI一站式自服务大数据可视化分析平台是一款基于.NET Core开发的自助式可视化分析大屏展示平台，可以通过平台零代码或低代码方式构建各类数据展示分析；NBI一站式自服务大数据可视化分析平台提供了多种灵活的部署方式，支持安装包模式安装、手动安装、docker镜像安装NBI一站式自服务大数据可视化分析平台跨平台性：支持部署在Windows、Linux、MacOS等操作系统上运行NBI一站式自服务大数据可视化分析平台V4.6.5主要更新内
2020-08-06 12:48:58
1320
原创 通过Flink+NBI可视化构建实时大数据分析系统
Flink：Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视化：NBI一站式自服务大数据可视化分析平台是一款自助式可视化分
2020-06-11 13:45:55
645
原创 连接、数据、智能实现企业数字化转型的三大核心能力
企业数字化的主要特征包括三个方面：第一是连接，连接员工、连接客户、连接机器设备；第二是数据，也就是连接之后实时产生的数据；第三是智能，是数据驱动的智能应用。以阿里巴巴为例，首先，阿里巴巴通过天猫、高德地图、饿了么等业务前端，连接了众多消费者；然后，通过连接产生的实时数据，沉淀了大量的智能服务，例如千人千面的个性化推荐、商家的生意参谋等，以此来帮助企业做品牌推广、商品推荐、精准营销、运营分析等。企业数字化涉及企业的方方面面，我们可以从企业连接的对象来划分涉及的领域，具体可以分为数字营销、数字管理、工业
2020-06-02 21:03:49
927
原创 从dockerhub拉取NBI可视化产品镜像
前两篇文章介绍了将docker镜像打包，镜像发布，那么今天为大家介绍完一个闭环操作，如何从dockerhua拉取镜像，运行镜像，下面将演示从ubuntu和centos系统上拉取和运行镜像操作：操作流程：（1）拉取镜像（2）运行镜像（3）应用访问ubuntu系统拉取镜像演示：（1）拉取镜像命令：sudo docker pull nbidashboard/nbiplatform:latest（2）运行镜像：sudo docker run --name nbifordockerhu
2020-05-20 22:33:41
272
原创 将本地构建好的Docker镜像发布到dockerhub
各位读者你们好，上一篇文章介绍了如何将.NET Core项目构建成一个docker镜像，那么今天接下来我们介绍如何将本地docker项目镜像发布到dockerhub上，好了废话不多说，直接进入正题：（1）去注册dockerhub账号；（2）账号注册好之后，我们创建一个仓库，用于存放镜像（3）到这一步，我们已经可以看到创建成功界面 仓库路径：nbidashboard/nbiplatform（4）查看本地容器信息 1 sudo docker ps .
2020-05-16 10:14:34
237
1
原创 将.NET Core编写的数据可视化项目打包成Docker镜像，实现容器化部署
第一步 环境准备，安装docker环境：通过命令安装docker：sudo apt-get install -y docker.io 启动Docker服务：systemctl start docker.service 配置开机启动并验证 systemctl enable docker.service 查看docker版本信息docker version 第二步 ...
2020-05-07 14:36:20
317
原创 数据治理中的数据血缘关系是什么？用来解决什么问题
前言：数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。数据治理里经常提到的一个词就是血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。大数据数据血缘是指数据产生的链路，直白点说，就是我们这个数据是怎么来的，经过了哪些过程和阶段。数据血缘关系的应用场景是什么：在数据的处理过程中，从数据源头到最终的数据生成...
2020-04-21 11:10:05
7137
com-cloud-eureka.rar
2020-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人