数据中台应具备哪些功能？

于 2024-03-20 14:35:49 发布
阅读量225 收藏
点赞数 3
文章标签： 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdcdev_/article/details/136875862
版权
本文探讨了数据中台对于开发者的重要性，列举了八个关键功能模块，包括存储引擎、计算引擎、数据集成、开发IDE、任务调度、数据治理、可视化和数据服务，确保企业进行大数据开发和管理时的顺利运行。
摘要由CSDN通过智能技术生成

数据中台

对于大部分人来说，都是使用数据中台，如果让你来搭建一个数据中台，你知道应该搭建什么功能，才算是一个相对合格的数据中台吗？

数据中台在普通开发者来说，感觉就是有很多功能，那么具体有哪些呢？就算是一名普通开发者，也应该知道数据中台具备哪些功能，里面的具体功能模块也应该熟悉，技术人员的立命之本。

功能模块

如下将介绍应包括哪些模块，大致包括八个平台，有这八个平台，那么对于一家公司来说，基本算是可以正常做大数据功能开发，对于每个模块具体细节下次再分享；

基础平台 — 存储引擎，计算引擎，辅助服务

数据集成同步平台 --离线集成，实时集成

数据中台

数据开发平台 – 开发ide

任务调度平台 – 任务执行

数据治理平台 – 数据质量，元数据治理，数据安全

数据可视化平台 – 数据可视化

数据服务平台 – 数据可供调用

用户管理平台 – 用户权限

京东云开发者
关注
博客
Caffeine学习笔记
10-16 503
作者：京东工业 孙磊1、Caffeine是什么？Caffeine是一个基于Java8开发的提供了近乎最佳命中率的高性能的缓存库, 也是SpringBoot内置的本地缓存实现。2、Caffeine提供了灵活的构造器去创建一个拥有下列特性的缓存：•自动加载条目到缓存中，可选异步方式•可以基于大小剔除•可以设置过期时间，时间可以从上次访问或上次写入开始计算•异步刷新•keys自动包装在弱引用中•values自动包装在弱引用或软引用中•条目剔除通知•缓存访问统计3、核心类和参数：缓存最大值。
博客
【质量视角】可观测性背景下的质量保障思路
10-16 441
例如应用A 调用 应用B完成业务处理，当应用B发送异常时，会影响到应用A，传统的监控方式是对各自的应用做监控，此时如果应用B本身的监控不完善，很难第一时间排查出问题的根因，甚至在应用B监控完善的情况下，如果AB信息没有及时共享，也很难第一时间定位问题。随着可观测性概念的逐渐普及，监控的建设也有了新的挑战和使命。所以需要一段时间的试错，前期阈值设定的保守一些，用一段时间的数据评估出一个相对合理的阈值，同时由于数据的积累，后续的报警策略也可以摆脱单独的固定阈值方式，使用阈值+趋势分析的策略进行报警。
博客
全局视角看技术-Java多线程演进史
10-16 434
2022年09月22日，JDK19发布了，此版本最大的亮点就是支持虚拟线程，从此轻量级线程家族再添一员大将。虚拟线程使JVM摆脱了通过操作系统调度线程的束缚，由JVM自身调度线程。其实早期sun在Solaris操作系统的虚拟机中实现过JVM调度线程，基于其复杂性，和可维护性考虑，最终都回归到了由操作系统调度线程的模式。长安归来锦衣客，昨日城南起新宅。回想这一路走来，关于多线程的概念令人烟花缭乱，网上相关讲解也不胜枚举，但总感觉缺少一个全局性的视角。
博客
通过Forcebot压测实践简述“并发模式”与“RPS模式”两种模式的区别
10-15 286
具体原因：“并发模式”的并发用户数少于“RPS模式”的并发用户数，同时能够到达杰夫线程池的任务数前者少于后者，所以杰夫线程池任务缓冲区处于等待的任务就相对较少、等待时间较短。适用场景：RPS模式即“吞吐量模式”，通过设置每秒发出的请求数，从服务端的角度出发，直接衡量系统的吞吐能力，免去并发到RPS的繁琐转化一步到位。2）“并发模式”的并发用户数少于“RPS模式”的并发用户数并且服务端收到QPS前者大于后者的前提之下，forcebot压测事务对应TP99/TP999的性能指标前者优于后者。
博客
测试聊并发-入门篇
10-15 587
作者：京东保险 张新磊。
博客
90后程序员的职业成长漫谈
10-15 317
作者：京东零售 卢楠。
博客
【稳定性】稳定性建设之变更管理
10-14 725
变更管理在稳定性建设中扮演着至关重要的角色。它涵盖了兼容设计、新版本发布计划、灰度变革、数据迁移、可回滚设计、配置变更控制和复核验证等多个方面，旨在确保系统在变更过程中的稳定性和可靠性。首先，兼容设计和新版本发布计划是变更管理的基础。通过充分考虑现有系统的功能和架构，我们可以预测并解决可能出现的兼容性问题。同时，制定详细的新版本发布计划，可以确保变更过程有序进行，避免对用户造成不必要的影响。其次，灰度变革和数据迁移是降低变更风险的重要手段。
博客
《京东金融APP的鸿蒙之旅系列专题》鸿蒙工程化：Hvigor构建技术
10-14 987
Hvigor构建工具是一款基于TypeScript实现的构建任务编排工具，专为提升构建和测试应用的效率而设计。它主要提供以下关键功能：1.任务管理机制：包括任务注册和编排，帮助开发者高效地管理和执行构建任务。2.工程模型管理：支持对工程的结构和依赖关系进行管理，确保构建过程的有序和高效。3.配置管理：提供灵活的配置选项，允许开发者根据不同需求进行定制化配置。抽象语法树 (Abstract Syntax Tree，AST)，是源代码语法结构的一种抽象表示。
博客
《京东金融APP的鸿蒙之旅系列专题》新特性篇：意图框架接入
10-14 615
HarmonyOS NEXT引入了多项创新特性，其中的意图框架能够将应用中的业务功能智能分发至手机的各大系统入口，其中系统入口包括小艺对话、小艺搜索和小艺建议等。通过这一特性，用户不仅可以主动搜索和调用所需服务，还能享受到系统智能推荐的个性化建议。这将有效提升用户体验，带来全新的流量增长点，并为应用增量提供强大支持。意图框架、用户、开发者的关系如下：（图片来自于鸿蒙官方）
博客
解锁保险新世界-带你走进保险基本法
10-11 298
保险基本法，是针对保险营销员（包括代理人和从业人员）的日常基础管理规定，而非统一的法律条文。这些规定详细覆盖了展业、晋升、奖惩以及利益分配等各方面，是保险公司推动其营销队伍发展的核心工具。在京东保代业务中保险基本法主要服务于公司的外勤业务人员--代理人，通过设定明确的规则和标准，来指导代理人的职业发展、业绩考核以及薪酬分配。这不仅关乎代理人的收入和发展，更直接影响到保代业务的稳定和市场竞争力。
博客
「软件设计哲学」于延保代码改造中的实践
10-11 522
*** AddBuy 作为补购的代码命名定义，定义补购相关门面接口*/// 补购相关订单查询 Service@Resource// 补购相关延保查询 Service@Resource// 延保结果构建 Service@Resource/*** 查询多条可补购延保的订单信息*/@Override// 1. 查询主商品订单// ...// 2. 查询这些订单可购买的延保信息// ...// 3. 封装订单和推荐延保信息执行步骤如下：先查询主商品订单。
博客
Code Review：探索工程实践之道
10-11 981
本文参考《京东JAVA代码规范-V1.1》&Google代码评审工程实践方法论，结合团队代码评审的实践经验整理成文档这份文档是我们团队集体经验的结晶。我相信公司其他部门也有类似的经验和最佳实践。希望通过互相交流和学习，共同提高代码质量，进而提高系统的稳定性。CL： “changelist”修改列表，它是提交到coding版本控制工具中的一次代码修改（即将审核的代码）CR：CodeReview代码评审一、为什么需要CR代码质量是软件质量的基石1.我们进行。
博客
浅谈kafka
10-10 1074
图1：一张kafka新特性Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform）你需要显式地配置生产者端的参数partitioner.class。这个参数该怎么设定呢？方法很简单，在编写生产者程序时，你可以编写一个具体的类实现org.apache.kafka.clients.producer.Partitioner接口。
博客
谈JVM xmx, xms等内存相关参数合理性设置
10-10 805
作者：京东零售 刘乐说到JVM垃圾回收算法的两个优化标的：吞吐量和停顿时长，并提到这两个优化目标是有冲突的。那么有没有可能提高吞吐量而不影响停顿时长，甚至缩短停顿时长呢？答案是有可能的，提高内存占用（Memory Footprint）就有可能同时优化这两个标的，这篇文章就来聊聊内存相关内容。内存占用一般指应用运行需要的所有内存，包括堆内内存（On-heap Memory)和堆外内存（Off-heap Memory）
博客
全局视角看技术-Java多线程演进史
10-10 1434
2022年09月22日，JDK19发布了，此版本最大的亮点就是支持虚拟线程，从此轻量级线程家族再添一员大将。虚拟线程使JVM摆脱了通过操作系统调度线程的束缚，由JVM自身调度线程。其实早期sun在Solaris操作系统的虚拟机中实现过JVM调度线程，基于其复杂性，和可维护性考虑，最终都回归到了由操作系统调度线程的模式。长安归来锦衣客，昨日城南起新宅。回想这一路走来，关于多线程的概念令人烟花缭乱，网上相关讲解也不胜枚举，但总感觉缺少一个全局性的视角。
博客
鸿蒙跨端实践-揭秘视图渲染流程
10-09 1120
通过本文你将全面清晰的洞悉动态化跨端的实现原理，感受黑悟空（数据）一路打怪升级（在不同语言环境中流转改造），逆天改命（操控原生视图绘制），终成齐天大圣（完成视图渲染呈现）的艰辛历程。动态化- 罗码（Roma，后文统称动态化）是一个完全自主研发的一站式跨平台解决方案，一份代码，可以在 Android、iOS、Harmony 及 Web 上运行。动态化的跨端原理与 React Native 、Weex 一致，在吸取业界各跨端框架优势的基础上，加上自主创新，打造的一个完全自主可控的综合跨端解决方案。
博客
RPA在物流企微私域场景的应用
10-09 832
面向社群的RPA主要功能包括：微信群发消息、建群、改群名、获取群码、加好友、删好友、群管理功能，其中消息类型包括：纯文本、图文、小程序卡片等，群管理功能包括拉人、踢人、群管理员、智能识别非法信息及警告回复等；这通常包括解析事件类型、查找对应的UI元素（如按钮、文本框等），并执行相应的操作（如模拟点击、获取文本等）。◦业务组件：企微监控服务包括定时服务、监控消息、解析消息、建群、获取群码、群管理、拉人踢人等，大部分服务与远程指令服务功能一一对应，如发送消息、回复消息、群管理、拉人踢人、建群、获取群码；
博客
用JS实现简单的屏幕录像机
10-09 188
这是文件扩展名.webm。每当有数据时，都会将其添加到块数组（之前定义）中。当停止录制时，将调用该stopRecording() 函数。如果你想要 mp4 或其他格式，则必须使用 API 进行转换或自己进行转换。看起来内容很多，但实际上，只是向按钮添加一个事件侦听器来开始和停止记录并相应地更改文本。在用户屏幕之外创建媒体流。媒体记录器有一个mimeType. 这是你想要的输出文件类型。在写功能函数之前，声明 3 个全局变量（在函数之外）。本文将介绍如何用JS实现简单的屏幕录像机。书写JavaScript。
博客
揭秘动态化跨端框架在鸿蒙系统下的高性能解决方案
10-08 1009
动态化跨端框架（后文统称“动态化”）是一个由京东金融大前端团队全自主研发的，一份代码，可以在HarmonyOS、iOS、Android、Web四端运行的跨平台解决方案。在研发团队使用后可大幅降低研发人力成本；为业务提供实时触达、A/B触达等能力以提升业务投放效率；同时保障了C端用户优秀的用户体验。业务代码经过打包后形成business.js发布到云端，被Harmony、iOS、Android、H5四端共用。
博客
京东金融APP的鸿蒙之旅：技术、挑战与实践
10-08 1429
基建层提供的功能较为核心，需要有较好的稳定性、兼容性和优异的性能，因此基建层需要使用鸿蒙ArkTS语言重写，这个工作是逃不掉的，但考虑到后期相同的基建层组件需要同时维护三个版本(安卓/IOS/鸿蒙)，因此我们尝试部分组件的三端通用部分使用C/C++来编写，后期该组件稳定后会替换其他两端，实现三端使用同一套代码，该方案走通后，会逐步推广到所有组件。在鸿蒙项目中，我们依据各页面的功能特性与技术复杂度，逐步将那些遗留的原生页面转化为兼容性更强的Roma跨端界面，以实现更为统一且高效的用户体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值