玩转银河+｜你知道一个叫银河+的大数据平台吗？

于 2019-03-13 13:14:53 发布
阅读量466 收藏
点赞数
文章标签： 微软 nagios navicat ai iot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JDDTechTalk/article/details/109615576
版权

一份字迹工整的记录是数据

一张五彩缤纷的照片也是数据

从稚嫩的手工传输数据的时期到现在飞速发展的大数据时代

数据的存储、传输和生产也随之发生了巨大的变化

我们京东数科也有了自己的大数据服务平台

银 河＋
在介绍神奇的“银河＋”之前

先了解一下我们每天都在听说的数据

使用和处理是如何一步步走到今天的？

“银河＋”又是如何为我们处理数据的呢？

让我们用漫画为您揭开数据生产演化史这层神秘面纱吧

本期的漫画是不是很精彩呢，以后将会继续推出银河＋旅程系列漫画，敬请期待哦！


京东数科技术说&技术课堂

   ▼▼▼     

由京东数科-技术研发部策划组织

倡导“原创·实用·技术·专业”

致力于分享技术领域实战经验与技术干货

线上订阅“京东数科技术说”，线下聆听“技术课堂”

为加强技术分享、总结沉淀，提升数科技术影响力而搭建的

线上线下融合交流平台

不只一技之长 · 我有N技在手

 咨询、建议、合作请联系：

刘嘉璐（liujialu）/张明瑛（zhangmingying3）

长按识别二维码关注我们

京东云技术团队
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
gRPC-第二代rpc服务
03-05 1294
回归题目，gRPC因为他强大的可扩展性，轻便的底层传输格式，越来越多的企业在技术选型时选择了它，我也希望未来能有一款应用可以通过gRPC发挥出每种语言的优势，绽放出绚丽的色彩。
博客
运维工作新时代：自主编码实现运维自动化的转型之旅
02-21 1209
运维自动化率的定义范围是技术保障部门的所有运维人员。运维自动化率 = 自动化操作次数（通过泰山麒麟） / 手工操作次数（通过堡垒机登录） + 自动化操作次数其中，分子表示通过泰山麒麟进行的自动化操作次数。这些操作可以是自动化运维命令、运维功能或自动化编排任务。分母表示通过堡垒机登录之后进行的手工操作的次数，再加上分子的数量。通过这个指标，可以衡量在给定时间内运维人员使用自动化工具相对于手工操作的比例，从而评估运维的自动化水平。
博客
分布式场景怎么Join | 京东云技术团队
02-20 1159
算法有很多种，这里举例是hash算法），那么这两张表的分片或许可以在同一个物理库中，这样我们不需要做大表维度的处理，我们可以直接下推Join操作到对应的物理库操作即可。在ShardingSphere中，这种场景类似于绑定表的定义，如果两张表的算法相同，可以直接配置绑定表的关系，进行相同算法的连接查询，避免复杂的笛卡尔积。举个例子，有一张非常小的表A，还有一张按照ID分片的表B，我们可以在每一个物理库中复制一份表A，这样我们的Join操作就可以直接下推到每一个数据库操作了。这种现象称为数据倾斜。
博客
spark为什么比mapreduce快？
02-20 2200
因为mapreduce计算模型只能包含一个map和一个reduce,所以reduce完后必须进行落盘，而DAG可以连续shuffle的，也就是说一个DAG可以完成好几个mapreduce，所以dag只需要在最后一个shuffle落盘，就比mapreduce少了，总shuffle次数越多，减少的落盘次数就越多。
博客
当平台工程遇上DevEx：打造卓越的开发者体验
02-20 1005
根据 StackOverflow 的调查，约有 62% 的受访者每天花费超过 30 分钟的时间在搜索答案和解决问题上，而 25% 的人甚至花费超过 1 小时。此外，根据 CNCF 云原生的 Landscape 展示，目前已有 2000+ 张卡片，覆盖了各个维度的能力，但这也导致了开发人员认知负担的日益加重。在公司内部，我们目前拥有行云、泰山等各种开发者工具。然而，这些工具对于开发者在反馈周期、认知负荷、专注状态方面仍然有很大的提升空间。
博客
营销系统黑名单优化：位图的应用解析 | 京东云技术团队
02-19 1096
位图的基本思想是使用bit来标记一个数值，1表示该数值存在，0表示不存在。由于以位为单位存储数据，因此可以大大节省存储空间。通过这种方式，可以非常高效地表示和操作数值集合。举个直观的例子，有40亿个不重复的随机自然数，如果使用long型数值存储，一个long型数值8个字节，40亿个数值占用约29.8GB，但如果是存储为40亿个bit，则只需要约0.47GB。在Java中一个long型数值占64位，可以用一个long型数组存储位图，其中nBits表示位图的初始大小。对于给定任意自然数xx / 64。
博客
扯淡的DevOps，我们开发根本不想做运维！
02-19 1124
平台工程是设计和构建工具链和工作流的学科，可在云原生时代为软件工程组织提供自助服务功能。平台工程师提供的集成产品通常被称为“内部开发人员平台”，涵盖了应用程序整个生命周期的运营需求。--定义来自 platformengineering.org （关于平台工程的定义较多，但大部分意思较一致：主要是倡导自助服务减少底层基础支撑工具的复杂性和不确定性，减化工作流程，减少最终用户在使用过程中的认知成本，从而改善了最终用户的体验，和提高生产效率）
博客
哎呀，当时怎么没有想到 | 京东云技术团队
02-18 1104
在我们的测试工作中，是不是经常遇到这样的情形，发生了线上问题，产品、研发或者测试同学一拍脑袋：当时怎么没有想到，怎么给漏掉了呢？明明是一个非常简单的事情，用大拇指都能想到的验证场景，为何当时就漏测了呢？但实际情况是，逃逸到线上的缺陷，疑难杂症式的极端异常的问题很少，大部分都不复杂且可以在设计和开发中规避，或者在测试过程中被识别出来。针对此类问题，从测试覆盖度的角度，本文试图解释一下为何会发生这样的事情，以及如何有效规避。
博客
Spring事务实现原理
02-18 1338
先从配置文件开始入手，找到处理annotation-driven标签的类TxNamespaceHandler。TxNamespaceHandler实现了NamespaceHandler接口，定义了如何解析和处理自定义XML标签。@OverrideAnnotationDrivenBeanDefinitionParser里的parse()方法，对XML标签annotation-driven进行解析。
博客
糟糕，被SimpleDateFormat坑到啦！| 京东云技术团队
02-18 1285
以上就是针对本次问题排查的主要思路及流程，刚开始的排查思路也一直局限于规则引擎的线程不安全或者是传入的env（由于使用的是HashMap）线程不安全，还是受到组内大佬的启发和帮助才进一步去分析类可能会存在线程不安全。本次问题排查确实提供一个经验打破常规思路，比如类看起来只是对日期进行格式化，很难和在并发场景下线程不安全会导致数据错乱关联起来。作者：京东科技 宋慧超来源：京东云开发者社区 转载请注明来源。
博客
代码手术刀-自定义你的代码重构工具
02-06 1140
JavaParser 是一个开源的 Java 源代码分析工具，它提供了一系列简单的API来解析、修改和生成Java 代码。举个例子，我们可以使用javaparser轻松的实现下面几个操作：1.分析代码中的类、方法、字段等元素，提取类的继承关系、方法的参数和返回类型等。2.更改源码，例如重命名方法、修改方法体、添加或删除代码行等。3.可以使用它来生成代码片段，例如创建新的类、方法或字段，或者生成代码文档。在上一章节里就用到了数据提取，源码替换功能。
博客
亿级流量高并发春晚互动前端技术揭秘
02-06 1136
2022年央视春晚互动项目是一次大规模、高并发的挑战，前端团队通过静态资源优化、缓存、容错和工程化等方面的努力和创新，确保了系统的稳定性和性能，为用户提供了一个稳定流畅的互动体验。在静态资源优化方面，团队通过首屏资源拆分、帧动画方案替代3D模型、动态雪碧图和WebP格式优化等技术手段，显著降低了资源消耗和请求次数。在降低服务器成本及风险方面，选择作为非常规优化方案，提升用户体验。在容错方面，流量削峰和降级处理，确保系统稳定运行。在工程化方面，统一处理通用解决方案、提供拟真的MOCK。
博客
打开java语言世界通往字节码世界的大门——ASM字节码操作类库
02-05 1283
ASM是一个通用的Java字节码操作和分析框架。它可以用于修改现有类或直接以二进制形式动态生成类。ASM提供了一些常见的字节码转换和分析算法，可以从中构建定制的复杂转换和代码分析工具。ASM提供了与其他Java字节码框架类似的功能，但侧重于性能。由于它的设计和实现尽可能小和快，因此非常适合在动态系统中使用（但当然也可以以静态方式使用，例如在编译器中）。一个.java文件经过Java编译器（javac）编译之后会生成一个.class文件。在.class文件中，存储的是字节码（ByteCode）数据。
博客
大文件上传原理及实现方案 | 京东物流技术团队
02-05 1160
如果调用了mkfile接口，则磁盘上的切片内容就可以清除掉了，如果客户端一直不调用mkfile的接口，放任这些切片一直保存在磁盘显然是不可靠的，一般情况下，切片上传都有一段时间的有效期，超过该有效期，就会被清除掉。上传暂停的实现也比较简单，通过xhr.abort可以取消当前未完成上传切片的上传，实现上传暂停的效果，恢复上传就跟断点续传类似，先获取已上传的切片列表，然后重新发送未上传的切片。
博客
这篇深入浅出贴 助你早日实现Stable diffusion自由
02-05 1277
我也不想标题党，可它们就是好萌啊！看看下面这些你认识多少？我是憨憨，一个不会画画的设计师。过去半年里，AI绘画曾经多次引爆公众讨论，网络上那些精致的二次元同人插画、堪比真人的AI穿搭博主、打破次元壁的赛博Coser……背后都有一个“幕后黑手” —— Stable Diffusion，其背后的技术便是人们常说的扩散模型（扩散模型这个概念源自热力学，在图像生成问题中得以应用）。想知道上面这些精致的插画是如何实现的吗？
博客
IT工单治理野史：由每周最高150+治理到20+ | 京东物流技术团队
02-05 1148
基于此种治理效果，基本上算是比较满意了（心里美滋滋），然而周而复始的值班进行在线解答与事后分析盘点，其实还是能看到咨询类的问题占比较多，纵横对比发现此时的咨询类问题提出人的所属部门很零散（销售、客服、运营、解决部、仓等等），问的问题也是“千奇百怪”，算是上述方案中的一些盲点区域了。目前处于试用阶段，正在尝试推行，在系统上进行挂靠，同时在值班过程中也在推行，目前经过部分使用者的反馈看是有些效果，但是在单量上还未有所体现，可以随着推行时间的延长来看具体的效果，让我们拭目以待吧，效果图和使用记录如下所示。
博客
安卓动态链接库文件体积优化探索实践
02-05 1589
编译选项 | 体积 || strip + opt-level = ‘z’ + lto + panic = ‘abort’ + 代码裁减 + panic_immediate_abort | 135k || strip + opt-level = ‘z’ + lto + panic = ‘abort’ + 代码裁减 + panic_immediate_abort + 移除section | 95k |
博客
本地缓存Ehcache的应用实践 | 京东云技术团队
02-04 1273
java本地缓存包含多个框架，其中常用的包括：Caffeine、Guava Cache和Ehcache， 其中Caffeine号称本地缓存之王，也是近年来被众多程序员推崇的缓存框架，同时也是SpringBoot内置的本地缓存实现。Ehcache的分布式实现并不可靠，核心还是采用广播集群方式，实现数据的同步及更新，并且性能受机器IO，磁盘，网络等影响，在实际应用情况下，不会比redis更好。**空闲时间：**缓存映射将在上次访问后的固定持续时间后过期；**生存周期：**缓存映射将在创建后的固定时间后过期；
博客
财务数据处理问题及解决方案分享
02-04 1208
系统汇总核心是依靠MySQL物理机在每库每表通过group by进行，汇总是按费用类型分而治之，每种类型汇总维度不一样，每次如有新的汇总维度引入，需从前到后，写一遍新的汇总逻辑，主要是锁定新维度的数据范围，确定新的group by 字段，之前逻辑还得回归测试，很蠢是吧，我也觉得。汇总后的数据和通过原技术实现汇总出来的数据能保持一样的结果，同时还能填充一些公共的字段。如下图，其中绿色的2行源数据，按ou汇总在结果表中变成1行；橙色的3行源数据按dept汇总在结果表中变成2行；
博客
大促削峰实战：评价QPS降低85%的背后逻辑
02-04 991
京东APP商品详情页展示的评价数据通过单独请求评价接口获取，与商详模块流量近乎1:1，需要共同应对秒杀等海量流量的冲击，存在突发流量风险。经过对用户操作行为和评价埋点信息分析，评价调用与商详流量解耦可行，预期收益显著。为此，评价与商详模块研发人员组成虚拟攻坚小组，推进解耦方案实施。如图所示，商品详情页面中的评价、种草秀、问答等楼层的数据都是由评价独立接口提供。随着商品详情页面的内容日益丰富，评价楼层通常不会在第一屏展示。因此，当用户首次进入商详页面且没有进行任何交互时，评价数据基本不会得到曝光。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值