刘彦伟_京东实时数据平台技术实践

最新推荐文章于 2023-02-18 21:29:09 发布
最新推荐文章于 2023-02-18 21:29:09 发布
阅读量1.1k 收藏 1
点赞数
文章标签： 数据 京东 解决方案 大数据 技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/42522457
版权

刘彦伟_京东实时数据平台技术实践

随着大数据在业务中不断深入的应用以及业务的高速增长，传统""T+1""模式的离线处理方案在时效性等方面的弊端不断被放大，业务对实时数据处理的需求不断增强，本专题将针对该问题分享一套基于实时数据流的大数据处理解决方案。


详细解读 和小伙伴们一起来吐槽


chengying332
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
京东电商大数据实践
panguoyuan的专栏
10-17 2116
京东大数据平台从无到有，从集中式到分布式，从Oracle数据仓库到JDW2.0，在演变过程中一直在思考的两个问题：1、如何建设电商特有的复杂业务的数据仓库？2、如何在保障安全的情况下降低使用数据的成本？从下面的内容中似乎能够看到这些问题的答案。
京东实时数据仓库开发实践
大数据星球-浪尖
07-11 532
导读：本文主要介绍京东实时数据仓库技术的过去和未来，使用Delta Lake完成离线数据的增量更新，建设批流一体开发分析体系简化传统数据仓库架构，以及京东的业务场景在数据湖上的落地经验和技...
大数据丨ClickHouse在京东能源管理平台的实践
京东科技开发者
01-28 2128
ClickHouse是一款面向大数据场景下的OLAP数据库，相比于传统的基于Hadoop生态圈的OLAP大数据分析系统，ClickHouse具有极致的查询性能、轻量级的架构设计及维护简单...
京东——实时数仓治理与实战
http://www.54tianzhisheng.cn/
12-03 164
关注下面公众号，回复：数据治理关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注...
京东实时大数据平台
热门推荐
李战磊专栏
10-17 1万+
JRDW(JD Realtime Data Warehouse)是京东大数据部为了解决公司越来越广泛的实时业务需求，而推出的一整套技术解决方案，包括数据的实时接入、实时解析、实时传输、实时计算和实时查询等技术环节。通过JRDW来解决实时业务开发中各环节的技术难点，在流程上统一业务开发需求，使业务方只专注于业务开发，不用过多关心技术上的问题，极大地降低了实时业务开发的技术难度。
齿轮齿距测量的计算机辅助数据处理.pdf
08-15
在本篇论文《齿轮齿距测量的计算机辅助数据处理》中，作者刘彦伟从河北省广播电视局出发，研究了在微机上开发的齿距测量数据处理程序。这个程序可以根据在万能测齿仪上测得的数据，通过计算机处理得到齿距偏差（△）...
飞爬机器人被动式弹性钩爪建模分析.pdf
08-11
文章介绍的研究是中国科学技术大学刘彦伟博士基于南京航空航天大学戴振东教授提出的模型建立的，通过分析粗糙表面和钩爪的作用机理，改善了飞爬机器人的抓附能力。在实际应用中，为了保证钩爪在竖直表面上的稳定抓附...
PLC系统电磁干扰的抑制.pdf
08-08
文中还提到了隔离技术的应用，通过隔离可以阻断干扰源和被干扰对象之间的直接电路连接，从而抑制干扰信号的传播。同时，可靠接地系统对于抑制电磁干扰至关重要，因为良好的接地可以为干扰信号提供一个安全的路径，...
京东物流数据同步平台“数据蜂巢”架构演进之路
cuichensui1506的博客
08-21 316
导语： 本文根据贺思远老师在2018年5月12日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。 京东物流系统架构师贺思远 9年互联网/大数据领域研发、架构经验...
京东实时数据产品应用实践
最新发布
学而知之@的博客
02-18 703
导读本文根据京东集团数据计算平台部产品规划负责人王威讲座整理，本次分享题目为《京东实时数据产品应用实践》。文章主要从以下四个方面介绍：1. 京东实时产品概况2. 低代码实时平台建设3. 流批一体化产品体系4. 产品运营：实时数据链路三道防线01京东实时产品概况1. 实时数据产品支撑业务场景京东实时产品的应用涵盖集团范围内的各个体系，包括零售、物流、健康等都有实时数据的应用场景，例如实时数仓、实...
京东用了哪些大数据平台产品体系？
程序之道的博客
04-01 9643
对于京东大数据平台来说，数据产品并不是一个新鲜事物，2011年自建数据仓库上线的同时，第一款数据产品调度平台也一同上线并正式投入使用。 调度平台 订单交易，仓储物流等众多京东系统都会产生数据，仅日志内容每天的大小约为1TB，大量的数据如何统一汇总到数据仓库来呢?这就需要调度产品来实现数据生产。京东调度平台发展至今已经是3.0版本，每一次的更新迭代都凝聚着京东大数据平台开发工程师许许多多个日夜的...
数仓架构实践2：京东四层模型架构
BabyFish13
05-17 7511
京东数仓大致分四层架构 BDM:数据缓冲层，与源系统保持一致，相当于传统数仓的ODS。 FDM:基础数据层，按主题设计，数据融合，存放明细历史数据，相当于传统数仓的EDW。 GDM:通用汇总数据层，明细粒度，可以查询到具体字段信息；数据的预关联，预汇总和预加工；依赖对应用的共性提炼，而不是某个具体应用。 ADM:聚合数据层，应用层。面象应用按需定制。 1：数据缓冲层(BDM) 源业务系统数据的...
预告：Intel、Hulu、阿里、京东、携程等大数据实战直播
CSDN云计算
09-30 3120
前言：由CSDN主办的SDCC2017之大数据技术实战线上峰会将在CSDN学院举行。作为SD系列技术峰会的一部分，本次线上峰会秉承干货实料（案例）的内容原则，将邀请圈内顶尖的布道师、技术专家和技术引领者，共话大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践、以及实现应用大数据支持业务创新发展等核心话题，旨在通过来自国内一线互联网公司实践案例，为开发者提供一个最有价
京东架构专家分享京东架构之路（你和高薪架构师差的不是年龄）
qq_41534566的博客
04-11 4960
京东咚咚架构演进咚咚是什么？咚咚之于京东相当于旺旺之于淘宝，它们都是服务于买家和卖家的沟通。 自从京东开始为第三方卖家提供入驻平台服务后，咚咚也就随之诞生了。 我们首先看看它诞生之初是什么样的。1.0 诞生（2010 - 2011)为了业务的快速上线，1.0 版本的技术架构实现是非常直接且简单粗暴的。 如何简单粗暴法？请看架构图，如下。1.0 的功能十分简单，实现了一个 IM 的基本功能，接入、互...
京东物流仓储系统618大促保障背后的运维秘诀
开涛的博客
07-06 2119
前言京东物流极速的购物体验背后隐藏着怎样的秘诀？仓储和配送时效是其中最为关键的一环。京东物流超强仓配体系，特别是在电商行业中独有的仓储系统，在其中起到了决定性的作用。当前...
京东零售数仓：从离线、实时到流批一体的演进之路
cdfunlove的博客
04-30 880
第一阶段 21世纪的第一个10年，企业级数据仓库从萌芽到发展，“IOTteradata” 占据了大部分市场，提供数据仓库建设从硬件、软件到实施的整体方案。 第二阶段 2010年-2020年，大数据平台阶段，移动互联网的飞速发展，带动大数据的发展，其中Hadoop生态技术开始大规模使用，基于Hadoop 分布式计算框架，使用相对廉价的PC服务器就能搭建大数据集群。 第三阶段 就是我们当前所处的阶段，经过前10年不断的积累，大数据在方法和组织的变革上也有了新的沉淀，主要体现在：
cockroachDB学习总结
动次打次
03-02 1万+
1. cockroachDB介绍蟑螂是地球上适应性最强的物种之一。它们能在无氧环境下存活45分钟，在没有食物的情况下存活超过一个月。甚至就算身首异处也无法让小强当场毙命——他们的身体没了头都还能活好几天。 在像 Google,Amazon 和 Facebook 这样的科技巨头内部，掌握领先技术的工程师们也在让他们自己的网站像小强一样顽强。如果一台服务器宕机，一个服务器集群宕机，或者整个数据中心电力
京东大数据平台进化之路
Hadoop技术博文
07-19 3904
本文内容来自由msup主办的第七届TOP100summit大会。分享者王哲涵，时任京东离线平台研发团队负责人。2015年加入京东，于大数据平台研发部工作, 负责京东大数据...
2008年瓦斯膨胀能计算新法：突出热动力学视角
该篇论文《基于突出热动力学的瓦斯膨胀能计算方法研究》发表在2008年的河南理工大学学报(自然科学版)第27卷第1期，作者刘彦伟、浮绍礼和浮爱青对此进行了深入探讨。瓦斯膨胀能作为煤与瓦斯突出的重要能量来源，其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值