![](https://img-blog.csdnimg.cn/96bd78de3e2b4fc5bd4f8f92eca49f72.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据平台开发技术
文章平均质量分 80
大数据平台相关的开发技术文档
OkGogooXSailboat
大数据平台设计与开发者
展开
-
Jackson序列化Bean额外属性附加--@JsonAnyGetter、@JsonUnwrapped用户
有一项工作,需要将数据从一个服务S中读取出来(得到的是一个JSON),将数据解析转换以后构造成一个数组的类型A的对象,写入到一个服务T中。在发现需要增加一种类型A的字类型B,这个类型属性非常多(将近一百),在这种情形下,如果直接定义出类型B来,定义那么多属性,还得设置,将会有更大的工作量,所以考虑是不是这些额外的信息可以用一个Map来存储。原创 2024-01-24 16:03:25 · 579 阅读 · 0 评论 -
钉钉企业机器人单聊消息发送实践-大数据平台(XSailboat)消息中心消息推送
在笔者开发的中有模块,用来全平台的消息收集,整理分拆、订阅发送等功能。消息推送方式支持钉钉群聊、钉钉单聊、短信通知。现记录一下企业机器人消息单聊推送的实现过程。原创 2024-01-22 09:29:38 · 1225 阅读 · 0 评论 -
基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC
笔者在先前的一篇文档提到了关于数据标签的模块,现已实现并应用于项目中。如果打标信息和业务数据是在一个数据库实例中,那么只需要连接两张表进行查询即可。但是数据标签作为大数据平台的模块,显然是不能将打标数据分散到各个业务系统数据库中的,所以我们就想到了使用CDC,将相关的打标数据同步到需要这些数据的业务库中。原创 2024-01-16 14:08:25 · 848 阅读 · 0 评论 -
Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值
笔者开发的大数据中的DataStudio模块包含基于DAG图的实时计算可视化开发功能,实现了Flink计算任务的可视化开发(想要了解更多,可以查看我们都知道,原生的Flink任务开发适合在IDE中使用代码去开发调试,想要去做可视化是很难的。为此引入了“模式框架+Aviator表达式”的可视化思路,为的就是让Flink任务适合界面开发,又不过多失去原生Flink的表达能力。是一个非常优秀的表达式语言,适合应用在需要轻度编程的场景下。原创 2023-12-29 10:32:55 · 1041 阅读 · 0 评论 -
Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践
笔者的中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。实时计算功能,底层是基于Flink,我们在此基础上开发辅助插件和可视化开发运维套件,我们将其称之为SailFlink。原生的Flink算子适合在IDE代码环境下用代码开发,并不适合做可视化,所以必须在原生算子基础上做一定的抽象和限制。至于我们是怎么做的,可以参考。SailFlink对状态存储器也进行了包装,提供“单值”、“队列”(有界的)、“键值”三种状态存储器。有界队列型状态存储器,后台是ListState。原创 2023-12-23 14:47:18 · 1017 阅读 · 0 评论 -
在线帮助中心对视频加载,过程优化,降低视频对服务端的负载
在中包含模块,提供在线的帮助文档和平台使用教程。在帮助中心,不仅支持普通的文字,图片,还希望支持视频。前端网页显示出视频数据,在大数据平台的软件架构下,会经历这样的数据链路:在用户点击目录,打开文档时,其实他不一定会去看视频,为了提升效率,希望在用户点击观看视频的时候,才去加载视频。在浏览器端,显示视频使用的是video字段。在默认情况下,当页面dom加载出来之后,会自动去加载视频数据。为了不让它自动加载,我们刚开始尝试了属性。它有auto、metadata、none三个属性可选。原创 2023-12-07 23:49:35 · 1081 阅读 · 0 评论 -
SpringJPA语法样例汇集
【代码】SpringJPA语法样例汇集。原创 2023-12-06 14:04:17 · 413 阅读 · 0 评论 -
基于Flink的流式计算可视化开发实践关于Flink CEP的实践
为了流量卡,先凑个数。原创 2023-12-01 15:15:59 · 66 阅读 · 0 评论 -
大数据平台(XSailboat)中的数据服务实践
参数定义有点像代码开发的时候,声明变量并给变量赋值。应用参数和和API内部的参数定义变量的值均支持Aviator表达式或接口服务调用。接口服务(REST API)可以是工作空间内的API(无认证)调用,也可以是API网关上的API(有认证)调用。接口服务类型的参数支持设定缓存时间,以支持缓变数据避免频繁调用。这里是缓存是考虑这个服务调用的参数的,同一变量,不同调用,如果参数不同,是不会使用缓存值的。原创 2023-12-01 15:11:36 · 248 阅读 · 0 评论 -
数据标签设计 -- 大数据平台(XSailboat)的数据标签模块
近期手头的一个项目需要对数据进行大标签。原先就有在中增加“数据标签”模块的设想,现在有这样的需求,正好趁此机会将其实现。将平台内部的模块协作、配合起来,独立又相互支撑,一直是我设计大数据平台,引入模块的一个的原则。原创 2023-11-01 15:00:31 · 543 阅读 · 0 评论 -
涛思(TDengine)类型的Flink Source实现及与Kafka的对比分析
基于上述的不同,可以发现实现TDengine源节点,应该通过SourceFunction实现,而不应该使用Source来实现。原创 2023-10-18 17:09:23 · 430 阅读 · 1 评论 -
指标建模理论——指标、API与数据
指标建模工具是笔者大数据平台中的一个模块,它对于一个大数据分析平台来说有重要的意义。在大数据分析平台上进行数据开发的一项重要产物就是统计计算结果,这其中很大一部分数据可以称之为指标数据。指标建模就是定义、梳理指标的工具。原创 2023-09-09 22:44:58 · 274 阅读 · 0 评论 -
Flink日志采集、集中存储、可视化查询实践
笔者的开发大数据平台中包含基于Flink的可视化计算管道开发和运维功能。状态存储器中数据的查看和节点的日志查看功能是其重要的辅助支撑功能。它能使得在大数据平台上就能完全实现计算管道的开发、调试、部署,逐渐摆脱Flink的原生界面。Flink分JobManager和TaskManager,JobManager中的日志是总体性的,构建计算管道的过程,就是在JobManager中完成的,而Job的执行则是在TaskManager中。就可以从中找失败原因。原创 2023-08-28 11:34:35 · 987 阅读 · 0 评论 -
Flink的DAG可视化开发实践
笔者早年间有很长一段时间都在阿里云DataWorks上带着团队进行数据开发,后来因为一个契机自己搞起了大数据平台。刚开始开发平台的主要的数据开发能力是基于DAG图的可视化离线分析开发和运维。后来手头有一个项目需要使用流式计算功能,所以就想把Flink也引入到。首先确立了以下2个主要目标:a. 像离线分析一样,支持基于DAG的可视化开发;b. 在平台里应该有开发和生产两套环境;平台要支持Flink基于DAG可视化开发,不像离线分析,有阿里云DataWorks的样板可以参考。原创 2023-08-10 11:30:24 · 927 阅读 · 0 评论 -
数据治理平台的思路
数据治理是为了让数据在形式上和质量上更好地达成某一数据应用目标而进行的数据集成、数据整理、数据分析、数据修缮、数据发布,数据应用的过程。原创 2023-08-09 11:35:58 · 294 阅读 · 0 评论 -
数仓分层实践
因为数据在通常情况下是不完美的,如果在构建数据引入层过程进行复杂数据过滤、类型转换等处理,很可能会丢失一部分意料之外的特殊数据,造成统计结果和用户预计的产生偏差。在通常的理论中,这一层会位于维度层之后。在此需要特别说明,在一个完整的数据开发过程中,可以多次出现构建明细数据层的过程,汇总层和明细层也不是绝对的,因为有的汇总过程并不是一步就能完成的,而需要阶梯式分步汇总,前一步的汇总会是下一步的明细。这一层是在明细的数据层的基础上,抽取每次执行计算所涉及的统计周期内的数据,附加上表示统计周期相关的字段。原创 2023-08-05 17:44:44 · 179 阅读 · 0 评论 -
一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等
XSailboat是我们开发的一个主要建立在 Hadoop 生态及SpringCloud解决方案之上的全栈式的大数据开发套件。其中包含数据集成(SailDI) 、数据开发(DataStudio)、任务运维(SailTaskOps)、数据服务(SailDS)、API网关(SailGateway)、数据可视化(SailDV)、认证中心(SailAC)、在线文档中心(SailDoc),平台运维中心(SailCockpit),应用引擎(SailAE) 、指标建模(SailIMS)、数据地图(SailMap)、消息中原创 2023-08-05 15:58:21 · 863 阅读 · 0 评论 -
指标建模概念和设计
笔者正在开发中的指标建模工具(SailIMS)。以此篇文档梳理一下其中一部分关键性的功能设计。内容重点不在解释各种理论和方法,而是描述一种将实际落地、可操作的指标建模功能设计方案。原创 2023-08-05 16:20:15 · 294 阅读 · 0 评论