PPT | 极限压力下京东智联云存储系统的可靠性与成本平衡

于 2020-12-16 19:15:00 发布
阅读量437 收藏
点赞数
文章标签： qml navicat 分布式存储 gbk payment
原文链接：https://developer.jdcloud.com/activity/tech-meetup/beijing202012?utm_source=PMM_Wechat\x26amp;utm_medium=ReadMore_264\x26amp;utm_campaign=ReadMore\x26
版权

京东智联云专家架构师、存储研发组负责人曹雪林在“京东11.11大促，亿级流量背后的战场”技术沙龙上分享《极限压力下京东智联云存储系统的可靠性与成本平衡》

京东云开发者
关注
博客
人人都能手写的chrome插件，帮我省了1000多块钱
09-27 891
本文通过《京东价保》插件给我带来的便利，引发了个人探索浏览器插件的思考。通过实现一个简单的浏览器插件，帮助我们认识、掌握、应用浏览器插件的基本原理。更深入的知识咱们可以通过官网去学习。最后，最重要的一点：欢迎评论区互动， 大家一起来找bug。欢迎大家交流学习，共同成长。
博客
防御性编程：让系统坚不可摧
09-27 632
面对复杂多变的运行环境、不可预测的用户输入以及潜在的编程错误，如何确保软件在遭遇异常情况时依然能够稳定运行，是每位开发者必须面对的挑战。防御性编程（Defensive Programming）正是为解决这一问题而生的一种编程范式，它强调在编程过程中预见并防范潜在的错误和异常情况，从而增强软件的健壮性和稳定性。防御性编程是一种积极主动的编程策略，它要求开发者在编写代码时，不仅要关注功能的实现，更要关注代码的健壮性和稳定性。：对于字符串、数字等类型的数据，进行长度和范围检查，确保它们不超过系统处理能力的限制。
博客
给Java同仁单点的AI“开胃菜“--搭建一个自己的本地问答系统
09-27 781
1.以上便是 完成了一个超简易的AI问答 功能，如果想搭一个问答系统，可以用Springboot搞一个Web应用，把上面的代码放到 业务逻辑中即可；2.langchain 还有其他很多很强大的能力，prompt Fomat、output Fomat、工具调用、memory存储等；3.早点认识和学习ai，不至于被它取代的时候，连对手是谁都不知道；。
博客
京东金融APP的鸿蒙之旅：技术、挑战与实践
09-26 605
金融App鸿蒙版不仅仅是功能的迁移，而是要充分利用鸿蒙系统新的特性，重新设计用户体验。结合这些新特性挖掘在获客、活跃、降本增效&用户体验上的机会。
博客
精准测试之探索
09-26 475
最开始在2014年的国际软件测试大会上发布精准测试的时候，它叫穿线测试，英文名字叫Threading Test，表达了精准测试的本质，Threading这个英文单词本身有两个含义，一个是穿线一个是线程，建立用例和代码的关系，相当于把黑盒和白盒关联起来，做黑盒测试也能看到白盒数据，同时把开发和测试能够关联起来，测试一做完，开发的逻辑马上就能自动生成。协议，HTTP，MySql，Dubbo，Redis等，需要先进行分析，找到关键插桩位置，然后结合使用设计模式进行收集（所需）信息。
博客
在Bamboo上怎么使用iOS的单元测试
09-26 806
本教程将使用北汽登录模块为例，一步一步和大家一起搭建单元测试用例，并在Bamboo上跑起来，最终测试结果和代码覆盖率会Bamboo上汇总。模块名称：BQLoginModule,是通过iBiu创建的一个模块工程ProductName: BQLoginTests如果我们要在测试代码使用我们在Pod里的类，需要同步 Targets Support Files/Pods-BQLoginTests/Pods-BQLoginTests.debug.xcconfig 文件的内容到 Targets Support File
博客
架构师日记-从数据库发展历程到数据结构设计探析
09-25 918
本文针对数据存储相关名词概念进行了解释，重点介绍了数据库技术的发展史。为了丰富文章的可读性以及实用性，又从数据结构设计层面进行了部分技术实战能力的外延扩展，阐述了拉链表，位运算，环形队列等相关数据结构在软件开发领域的应用，希望本文给你带来收获。注：本文个别图片来自互联网。
博客
如何用Rust编写一个ChatGPT桌面应用（保姆级教程）
09-25 810
安装 Rust 插件：打开 IntelliJ IDEA，然后转到 "File" > "Settings" (Windows/Linux) 或 "IntelliJ IDEA" > "Preferences" (macOS)。在设置窗口中，选择 "Plugins"，搜索 "Rust"，然后单击 "Install"。创建新的 Rust 项目：在 IntelliJ IDEA 中，选择 "File" > "New" > "Project"，然后在项目类型列表中选择 "Rust"。剩下的那就等下次更新了~
博客
基于Sentinel自研组件的系统限流、降级、负载保护最佳实践探索
09-25 672
Sentinel 以流量为切入点，从流量控制熔断降级系统负载保护等多个维度保护服务的稳定性。Sentinel 具有以下特征:•丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。•完备的实时监控：Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据，甚至 500 台以下规模的集群的汇总运行情况。•广泛的开源生态。
博客
java浅拷贝BeanUtils.copyProperties引发的RPC异常
09-24 333
因为BeanUtils.copyProperties属于浅拷贝，而浅拷贝只是调用子对象的set方法，并没有将所有属性拷贝(引用的一个内存地址)。于是乎，在群里圈了服务提供方同学B看下，BG快速的用测试工具+本地debug的方式，验证了下报文格式，发现居然都调用成功了。近期参与了一个攻坚项目，前期因为其他流程原因，测试时间已经耽搁了好几天了，本以为已经解决了卡点，后续流程应该顺顺利利的，没想到 人在地铁上，bug从咚咚来~3、第二天早上一来，快速写了单测，确认服务端收到的报文格式，的确没有问题。
博客
DDD学习与感悟——向屎山冲锋
09-24 1041
在DDD思想中，repository表示资源库的概念，用于区分数据模型和领域模型。它操作的对象是聚合根，因此它属于领域层。由于过去ER模型以及主流ORM框架的发展，让很多开发者对实体的概念还停留在与关系形数据库映射这个层面。从而导致实体只有空洞的属性，而实体的业务逻辑散落各个service、util、helper、handler等各种角落中。这种现象就被称为贫血模型现象。如何判断自己的工程是否有贫血模型现象？1、大量的XxxDO或者Xxx：实体对象只包含与数据库表映射的属性，没有行为或者及其少量的行为。
博客
大数据从业者必知必会的Hive SQL调优技巧
09-24 1089
在HDFS中，每个小文件对象约占150字节的元数据空间，如果有大量的小文件存在，将会占用大量的内存资源。根据集群的配置和资源情况，合理调整Hive查询的并行度和资源分配，可以提高查询的并发性和整体性能。COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换，虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。
博客
【理论篇】关于聚合根，领域事件的那点事---深入浅出理解DDD
09-23 797
最近有空会跟同事讨论DDD架构的实践落地的情况，但真实情况是，实际中对于领域驱动设计中的实体，值对象，聚合根，领域事件这些战术类的实践落地，每个人理解依然因人而异，大概率是因为这些概念还是有一些抽象，同时有有别于传统的MVC架构开发。在此，通过小demo的方式跟大家分享一下我对DDD中战术层级的理解，算是抛砖引玉，该理解仅代表我个人在现阶段的一个理解，也可能未来随着业务经验深入，还会有不同的理解。既然说是小demo，还是要从业务场景出发，也就是我最熟知的电商业务场景说起。
博客
鸿蒙跨端实践-长列表解决方案和性能优化
09-23 1080
针对这几个问题，经过和华为专家沟通以后，建议我们直接使用C-API开发，但是经过深入开发和沟通之后，发现C-API目前尚有功能欠缺，而且文档不完善，不能满足我们当下的所有需求，因此我们决定支持ArkTS版本和C-API版本两个版本，Q3先上线ArkTS版本，同时开发完CAPI版本，待华为进一步完善C-API后，Q4上线。而且，改变键值key去刷新UI的方式代价很大，同一类别的列表项的结构非常类似，只是显示的文本和图片等不一样，不变化的组件不需要重新创建，只需要更新变化的部分即可。
博客
一位架构师的自述：在尚未踏入的世界成为你自己
09-23 886
作者：京东零售 艾佳这是我参与创作者计划的第1篇文章我叫艾佳，工作经验14年，编程经验30年。我来自智能平台部，负责标签平台、标签圈人、标签选品、EasyData、算法数据流的架构工作。致力于批量计算、流式计算、交互式计算的通用化数据应用构建，降低大数据计算的使用门槛。在此，我跟大家分享一下我的个人经历和一些思考。。
博客
大模型时代下的新一代广告系统
09-20 1271
京东零售广告部承担着京东全站流量变现及营销效果提升的重要职责，广告研发部是京东最核心的技术部门，也是京东最主要的盈利来源之一。作为京东广告部的核心方向，我们基于京东海量的用户和商家数据，探索最前沿的深度学习等算法技术，创新并应用到业务实践中，赋能千万商家和数亿消费者的消费连接，不断拓展中国乃至全世界的数字经济边界。在这里，你将与各业务、产品、工程团队紧密合作，深入京东亿量级的数据与丰富的广告业务场景，进行前沿AI算法和工程架构的研究与应用工作。
博客
还在自己实现责任链？我建议你造轮子之前先看看这个开源项目
09-20 641
本文通过简单的例子，向读者介绍了如何使用pie框架快速进行责任链模式开发，包括责任链初始化和异常处理等日常开发中常见的场景。读者可以参考这些案例，并将pie框架应用于实际开发中，以快速实现通用的责任链模式，最终降低代码的耦合度、增加代码的可扩展性和提高代码的可读性。
博客
解密Elasticsearch：深入探究这款搜索和分析引擎
09-20 987
除了tip，nvd（norms），dvd（doc values）， tim（term dictionary），cfs（compound）类型的文件都是由mmp方式加载传输，其余都是nio方式。但是它的参数是无状态的，始终会针对对新版本的搜索器进行解析。es的持久化分为两部分，一部分类似快照，把文件缓存中的segments 刷新（fsync）磁盘。如既是20-25岁的喜欢电商社交的男性，又是北京市喜欢撸铁的男性。写入时使用线程池来做，注意使用的阻塞队列的大小，还要选择适的拒绝策略（这里不需要抛异常的策略）。
博客
京东云JoyCoder荣获AI4SE“银弹”优秀案例
09-19 338
目前，JoyCoder可以支持智能生成代码，智能问答，批量生成单元测试，代码评审，图片转代码，代码安全检查，代码仓库问答，代码搜索等众多核心能力开发场景。同时，JoyCoder探索编码后的提效新模式，建设远程调试，质量和安全漏洞检查，热部署等能力的加持，最大程度辅助开发者提效。读代码：辅助开发者理解历史代码，帮助开发者快速接手历史项目，读懂他人的代码。写代码：结合上下文，预测开发者所思所想，辅助预测补全；测代码：提供批量生成单测的能力，支持文件夹级的单元测试代码生成，只需少量调整即可运行，提高开发者效率。
博客
京东短网址高可用提升最佳实践
09-19 1094
短网址，是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址。当我们在腾讯、新浪发微博时，有时发很长的网址连接，但由于微博只限制140个字，所以微博就自动把您发的长网址给转换成短网址了。在微博和手机短信提醒等限制字数的地方来使用短网址，的确是一个不错的方案。短网址通常使用“短域名/短码”的形式，打开短网址网页会直接跳转到长网址页面。百度短网址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值