- 博客(761)
- 收藏
- 关注
RSS订阅原创 业务复杂度治理方法论--十年系统设计经验总结
软件设计的核心在于降低复杂性。--《软件设计的哲学》业界对于复杂度并没有统一的定义，斯坦福教授John Ousterhout从认知负担和工作量方面给出了一个复杂度量公式子模块的复杂度cp乘以该模块对应的开发时间权重值tp，累加后得到系统的整体复杂度C这里的子模块复杂度cp是一个经验值需要注意：如果一个子系统特别复杂，但是很少使用及修改，也不会对整体复杂度造成太大影响。例：spring框架内部代码较为复杂，但由于几乎不需要我们去变动，所以对系统的整体复杂度影响并不大。
2024-09-05 13:54:34
949
原创 【转载】golang内存分配
在 1.10 以前 go 的堆地址空间是线性连续扩展的, 比如在 1.10(linux amd64)中, 最大可扩展到 512GB. 因为 go 在 gc 的时候会根据拿到的指针地址来判断是否位于 go 的 heap 的, 以及找到其对应的 span, 其判断机制需要 gc heap 是连续的. 但是连续扩展有个问题, cgo 中的代码(尤其是 32 位系统上)可能会占用未来会用于 go heap 的内存. 这样在扩展 go heap 时, mmap 出现不连续的地址, 导致运行时 throw.
2024-09-05 13:54:03
604
原创 自增主键去哪了?---一次开发过程中的思考
MySQL是作为大家都经常接触的DB，相信大家都会有一定的认知，自增主键不连续大家肯定也遇到过，这次在联调过程中遇到这个情况，在跟别的小伙伴分享的时候，突然就想写一篇文章，文章里面如果有不正确或者不准确的地方也欢迎大家斧正~说实话，作为一名交易端的研发人员，业务开发任务压力真的蛮大的，我也迷茫过，如何在这个过程中成长，珍惜我们遇到的问题，将遇到的问题记录在册，深追问题，你会发现有很多问题其实真的是因为我们某些知识的薄弱点造成的。
2024-09-05 13:53:33
824
原创 万字长文浅谈三高系统建设方法论和实践
整个软件的发展历程是一部软件复杂性对抗史，软件的复杂性分为技术复杂性和业务复杂性，业务复杂性主要是建模和抽象设计，技术复杂性主要是三高（高性能，高并发，高可用）的应对，C端的业务一般以技术复杂性为主，业务复杂性为辅，而B端或者M端的业务通常以业务复杂性为主，技术复杂性为辅。本篇文章主要是从后端研发的视角结合自己多年的B C端系统建设实践谈下三高系统的建设方法论和实践，希望和大家相互交流，共同进步，同时这是我参与创作者计划的第1篇文章。
2024-09-04 11:05:36
1317
原创 Vision Pro开发实践（结合24黑马idea）
利用ModelEntity加载模型，添加到RealityView的content中展示，这样可以对模型做各种操作，比如添加子模型，修改光照，材质等要素。举个例子来讲，我需要在运动鞋模型“sneaker”上面添加一个可以与用户交互的白色圆点模型，用于在用户点击的时候添加/展示对应部分的评价。这次结合的idea是我参加黑马比赛时想到的，主要内容是：在商品评价时增加商品的3D模型，用户可以在虚拟现实环境中查看商品的3D模型，并对模型的特定位置进行评论。：通过3D模型动画，用户可以直观地了解产品的特性和使用方法。
2024-09-04 11:05:06
913
原创 买药秒送 JADE动态线程池实践及原理浅析
买药秒送是健康即时零售业务新的核心流量场域，面对京东首页高流量曝光，我们对频道页整个技术架构方案进行升级，保障接口高性能、系统高可用。动态线程池是买药频道应用的技术之一，我们通过3轮高保真压测最终初步确定了线程池的核心参数。但我们仍面临一些保障系统稳定性问题：如何监控线程池运行状态？以及因流量飙升出现任务堆积和拒绝时能否实时报警，线程池核心参数能否做到不重启应用，动态调整即时生效？经调研，业界成熟的动态线程池开源项目有dynamic-tp和hippo4j。
2024-09-04 11:04:36
1021
原创 从原理聊JVM（一）：染色标记和垃圾回收算法
本篇介绍了JVM中垃圾回收器相关的基础知识，后续会深入介绍CMS、G1、ZGC等不同垃圾收集器的运作流程和原理，欢迎关注。。
2024-09-04 09:23:25
1006
原创 BFF层聚合查询服务异步改造及治理实践
本篇主要是思考如何依赖现有框架、环境的能力，从代码层面系统化的实现相关治理规范。最后仍引用王晓老师文章结尾来结束。
2024-09-04 09:22:36
997
原创 QPS提升10倍的sql优化
总结本次优化经历•慢sql 往往是影响数据库性能的大瓶颈，sql写好了不但可以优化性能，还能节约机器成本，降本增效。•最好能看到sql语句执行的第一现场，本次主要是由于查看代码时没有及时注意到索引字段的传参类型不对这一细节，造成花了很多时间分析问题•虽然整个问题分析过程比较曲折，但问题分析的方向应该还是对的，过程中学到不少知识。•表结构的设计也有一些历史遗留原因，site_id 字段在表中定义为整型可能比较符合业务含义。表字段定义和业务含义一致，写sql也不容易犯错。
2024-09-04 09:21:39
897
原创 一站式统一返回值封装、异常处理、异常错误码解决方案—最强的Sping Boot接口优雅响应处理器
Graceful Response内置了两种风格的响应格式，可以在文件中通过进行配置。•gr.responseStyle=0，或者不配置（默认情况）"msg": "有内鬼，终止交易"},"data": {•自定义响应格式如果以上两种格式均不能满足业务需要，可以通过自定义去满足，Response@Override@Override@Override@Overridereturn msg;注意，不需要返回的属性可以返回null或者加上注解。
2024-09-04 09:20:53
1028
原创 【原创】【深入浅出系列】之代码可读性
原创声明：该文章是个人在项目中亲历后的经验总结和分享，如有搬运需求请注明出处。这是“深入浅出系列”文章的第一篇，主要记录和分享程序设计的一些思想和方法论，如果读者觉得所有受用，还请“一键三连”，这是对我最大的鼓励。一句话：见名知其义。有人说好的代码必然有清晰完整的注释，我不否认；也有人说代码即注释，是代码简洁之道的最高境界，我也不否认。但我都不完全接受，如果照搬前者，有人会在每个方法、每个循环、每个判断都添加大量注释，对于一个表达不严谨的coder来说，代码与汉字可能词不达意；
2024-09-04 09:19:59
934
原创 动态化-鸿蒙跨端方案介绍
动态化目前已经具备一份代码在iOS、Android、H5三端运行的能力，该方案就是将动态化一码多端能力对接到鸿蒙系统，降低首次适配研发投入；一次开发，四端共用，长期降低业务迭代成本；并且使业务具备随时发布能力。。
2024-09-04 09:19:22
1124
原创 【ChatGPT应用篇-1】助力Beauty代码的初体验
以下是一个与ChatGPT 结对编程的一个Excel数据解析案例，大家可以根据我的思考过程进行体验，以下放了一些截图，ChatGPT的反应速度惊人，代码版本一步步进行迭代优化，感触较深的是。对于ChatGPT输出的代码没有做仔细的Review及调试，但是看代码风格基本上是改改就能用于生产的，对于代码规范、命名还是很认可的！10.提升程序效率，把解析性能在提升10倍 （架构师的成本意识，这个问题的回答有点意思）6.替换掉 poi 采用EasyExcel （替换原始的默认技术选型，替换三方包）
2024-09-03 19:10:07
697
原创 一文了解电商大促系统的高可用保障思路-献给技术伙伴们
电商大促是电商平台组织的一种大型销售推广活动，目的是通过提供各种优惠、折扣等方法，提高商品销售额和网站流量，增加消费者的购物欲望，以实现销售目标。电商大促活动通常会在一些特定的节点或者节日举行，比如“双11”、“618”、“黑色星期五”等，这些时期的电商大促极具吸引力，既有大量的商品打折优惠，又有丰富多样的活动供消费者参与，是电商平台提升销售业绩的重要手段。
2024-09-03 19:06:07
1020
原创 一起单测引起的项目加载失败惨案
是相对于静态编程而言的,平时我们讨论比较多的就是静态编程语言，例如Java，与动态编程语言，例如JavaScript。最近在开发一个功能模块时，在功能自测阶段，通过使用单测测试功能的完整性，在测试单测联通性使用到静态方法测试时，发现单测报错，通过查阅解决方案发现需要对。建议大家在构建Maven项目时，仔细检查POM文件中的依赖，确保没有漏掉任何必要的库，以免因为遗漏而引起不必要的问题。但是，在我们的POM文件中，虽然我们添加了对Spring框架的依赖，但是并没有添加。: 返回修改后的字节码。
2024-09-03 19:03:55
1119
原创 京东小程序折叠屏适配探索
应用在折叠屏运行时，可以从一个屏幕切换到另一个屏幕。应用应该做好配置变更的适配和界面状态的保存，以保证应用当前任务能无缝迁移到转换后的屏幕，从而为用户提供出色的连续性体验。折叠屏作为未来Android屏幕发展的新趋势，具有很大的发展前景，做好折叠屏相关适配支持也势在必行。小程序相关适配已经跟随京东主站、小家App、小家三星预装版等发布上线，本文是作者进行相关适配的一些心得体会，如有不足敬请见谅，欢迎交流探讨。
2024-09-03 19:02:33
996
原创 KubeCon China 2024全球大会在香港举行，京东云受邀参加探讨云原生、开源及 AI
和数字化大潮一样，在AI化的革命下，云端也在全面拥抱AI，并在方方面面变得更安全、更高效，让全球各行各业受益。大会首日吸引了来自全球 30 多个国家和地区的 1000 多名参会者，共同探讨云原生、开源及 AI 领域的前沿进展、核心技术和最佳实践。在京东云中，联邦Serverless服务基于联邦管理模型和Serverless应用模型，为联邦应用容器部署、弹性扩展和故障迁移提供JDOS应用容器控制服务。弹性扩缩容技术方案有很广大的应用前景，京东云内部也在进行大量的生产实践和验证。1. 多集群管理和分发实践。
2024-09-03 19:01:14
384
原创 探索AC自动机：多关键词搜索的原理与应用案例
目前，大多数自由文本搜索技术采用类似于Lucene的策略，通过解析搜索文本为各个组成部分来定位关键词。这种方法在处理少量关键词时表现良好。但当搜索的关键词数量达到10万个或更多时，这种方法的效率会显著下降，尤其是在需要与词典进行详尽对比的场景中。本文将介绍的Aho-Corasick（AC）自动机作为多模式匹配中的经典算法，不仅能够处理大规模文本数据，还能确保搜索过程的实时性和准确性。AC自动机可以被形象地比喻为一个超级找词机器。
2024-09-03 18:50:16
1027
原创 “前端”工匠系列（一）：合格的工匠，究竟该搞什么
有效的交流是需要以有效的信息为载体的。在用户端日志查询、特殊边界场景复现、日志排查定位故障等场景，“实时”就不是必要的，这种场景下一般采用T+1查询，但是又引入了大量级日志的存储周期的话题，一般企业应用级的用户日志保存14天就完全够用了，因为对于C端日志来说，更多的是对现场故障的复现、处理及跟进，如果算法策略对用户日志有需要，只需要在一定时间内采用处理任务对用户日志进行一次处理，把输出的标签、行为特征等关键数据存储就可以，基础的用户日志还是应该被存档或清除释放资源供给更有价值的最新日志来使用。
2024-09-03 18:49:34
663
原创 mysql磁盘碎片整理
不管是使用云还是商城数据库，只要使用mysql，必然会遇到Mysql碎片问题痛点，数据量大的业务表应该设计成分区表方便磁盘碎片整理，降低维护成本和业务影响。碎片清理前后，IO性能会上升，SQL执行效率更快。所以，在日常运维工作中，应对碎片进行定期清理，保证数据库有稳定的性能和充足的空间。扩展提到提高IO性能，在紧急情况下还可以考虑开启刷盘（设置），但开启刷盘会有数据丢失风险（集团数据库模板配置参数默认。
2024-09-03 18:48:47
849
原创 【我在京东做产研】校招 2 年，个人角度（成长）回顾 - 行且知
回顾毕业后的工作历程（文章会以现实时间为顺序来进行回顾），有很多大佬的帮助和指点。因此，想将自己的思考也分享给后来的同学们文章从个人角度（成长）出发，回顾工作点滴。后续会从团队角度（互惠）出发，写成长历程二，敬请期待1.JD的技术体系，各种中间件的了解和使用▪各种中间件的使用文档，还是非常有价值的，各种各样的名词，使用细节。如果你都不知道，怎么细节性学习？▪切勿眼高手低：▪程序员都知道文档易读，但是不如手敲一遍。敲完运行运行，可能你就有新的疑问。（例如：JSF 配置后，如何生成代理对象的呀）
2024-09-03 18:48:05
736
原创 京东云《黑神话 · 悟空》现已支持快速部署！
黑神话：悟空》是一款以中国神话为背景的动作角色扮演游戏。本服务内置《黑神话：悟空》游戏、《Steam》客户端和远程桌面《GameViewer》软件，配备顶级游戏显卡，通过计算工厂快速部署后按下方文档操作即可开启流畅游戏体验。
2024-09-03 18:47:10
939
原创 京东平台内容合规的技术与挑战
合规域在电商平台中扮演着重要的角色，它相当于电商体系中的“免疫系统”，通过识别恶意的商品、商家以及UGC内容，确保电商生态的健康、有序和可持续发展。因此我们部门致力于打造业内领先的内容理解与审核平台，在具体工作中，通过识别并治理商家在产品、价格、服务维度的违规行为以及短视频、直播、评价、问答等内容的违规信息，降低审核成本、提升运营效率，并最终保障用户体验。。
2024-09-03 18:43:14
720
原创 视频审核架构实践
针对不同的编码器、封装协议、传输协议，提供统一的音视频处理接口。跨平台，兼容200多种编码、180多种封装格式、20多种传输协议。世界上90%以上的音视频开发基于FFmpeg。。
2024-09-03 18:40:55
904
原创 QUIC在京东直播的应用与实践
国内的互联网直播技术从2005年前后兴起，彼时最具代表性的直播产品是由PPLive创始人姚欣在华中科技大学就读期间发起的校园直播项目PPLive。当时的直播技术用的还是基于windows系统自带的mediaplayer内置的COM组件开发的播放器，采用的是RTSP协议。受当时的互联网传输带宽及成本限制，PPLive并没有采用现在比较流行的单播技术，而是采用P2P技术分发直播流。国内的直播技术也进入了一段以P2P技术为主的时期，其中比较有代表性的就是PPLive和PPStream。
2024-09-03 18:38:26
1071
原创 突破传统监测模式：业务状态监控HM的新思路
以上是hm的全部技术细节。hm灵魂是数据计算、治理、数据统计。hm根基是集成百家之长。是我们平台研发部自研的一款面向业务的，异常监控处理的解决方案。汇集了团队每位伙伴的智慧。
2024-09-03 18:34:36
977
原创 如何优雅的处理异常
Java 语言按照错误严重性，从 throwale 根类衍生出 Error 和 Exception 两大派系。Error（错误）：程序在执行过程中所遇到的硬件或操作系统的错误。错误对程序而言是致命的，将导致程序无法运行。常见的错误有内存溢出，jvm 虚拟机自身的非正常运行，calss 文件没有主方法。程序本生是不能处理错误的，只能依靠外界干预。Error 是系统内部的错误，由 jvm 抛出，交给系统来处理。程序正常运行中，可以预料的意外情况。比如数据库连接中断，空指针，数组下标越界。
2024-09-03 18:33:02
917
原创 鸿蒙跨端实践-ArkTS和CAPI的混合开发实现
针对以上问题，通过和华为沟通，鸿蒙系统提供了C语言的命令式接口。C组件接口是介于UI组件的Native实现和ArkTS对接层之间的一层C接口封装，它绕过了状态管理对组件变化、刷新的自动化管理，同时避免了JS引擎和C++之间类型转换和跨语言调用的开销，因此具有较好的性能。通过C接口的对接，UI层级能直接和另外两端基本一致，通讯过程直接从JS到C++，C++可以直接调用C接口，流程大大缩短，数据类型转换变少了，列表渲染过程也由接入方自主控制，并且可以做预渲染等优化方案，同时避免了系统的二次布局。。
2024-09-03 18:31:04
1167
原创 Proxyless的多活流量和微服务治理
Joylive Agent 是一个基于字节码增强的框架，专注于多活和单元化场景下的流量治理。它提供了以下功能：多活流量调度、全链路灰度发布、QPS和并发限制、标签路由、负载均衡，熔断降级，鉴权等流量治理策略。其特性包括微内核架构、强类隔离、业务零侵入等，使其在保持高性能的同时对业务代码影响最小，是面向Java领域的新一代Proxyless Service Mesh探索实现。重要的事情说三遍：求Star，求Star，求Star。请Star完毕后继续阅读后文。
2024-09-03 18:29:08
1464
原创 工作五年小结 | 面对不确定性快速上升的外部环境，我们该如何寻求突破？
工作五年了，来京东马上满一年，前四年在开水团，不禁感叹时间过的真快啊！回想19年从西安交大硕士毕业孤身前往北京开始职业生涯，经历了孤独迷茫到自立坚定，再到23年下定决心携妻还蜀安家，并来到京东开始新的征程，这5年过的很快也很充实。今年也是我的而立之年，感觉一迈过这个坎，眼前的世界就不一样了，事业上还未成气候，更多的生活琐事就开始扑面而来。网上有段子笑称现代的“五子登科”中的五子分别指的是“车子、票子、房子、妻子和孩子”，这个词本来表达的是人们对美好生活的向往，但旧词新义体现更多的是中年人的无奈。。
2024-09-03 13:51:55
680
原创 “京东云深海数据平台” 焕新升级
JBDP新版本为数据开发、数据安全治理能力带来了极大的提升：升级多租户能力：平台支持多租户隔离，确保各租户数据安全稳定，提高资源利用率，满足不同规模企业需求。计算存储资源按量付费：用户可根据实际使用量付费，灵活调整资源，降低成本，实现成本配置最优化。开通免费体验模式：新用户可免费试用平台功能，零成本感受产品价值，为合作奠定基础。深海数据平台全新升级后，对各领域、不同体量的客户提供更适配的服务，全方位满足企业需求，助力业务发展。
2024-09-03 13:43:11
880
原创 gRPC-第二代rpc服务
回归题目，gRPC因为他强大的可扩展性，轻便的底层传输格式，越来越多的企业在技术选型时选择了它，我也希望未来能有一款应用可以通过gRPC发挥出每种语言的优势，绽放出绚丽的色彩。
2024-03-05 18:34:36
1448
原创 运维工作新时代：自主编码实现运维自动化的转型之旅
运维自动化率的定义范围是技术保障部门的所有运维人员。运维自动化率 = 自动化操作次数（通过泰山麒麟） / 手工操作次数（通过堡垒机登录） + 自动化操作次数其中，分子表示通过泰山麒麟进行的自动化操作次数。这些操作可以是自动化运维命令、运维功能或自动化编排任务。分母表示通过堡垒机登录之后进行的手工操作的次数，再加上分子的数量。通过这个指标，可以衡量在给定时间内运维人员使用自动化工具相对于手工操作的比例，从而评估运维的自动化水平。
2024-02-21 11:24:56
1311
原创 分布式场景怎么Join | 京东云技术团队
算法有很多种，这里举例是hash算法），那么这两张表的分片或许可以在同一个物理库中，这样我们不需要做大表维度的处理，我们可以直接下推Join操作到对应的物理库操作即可。在ShardingSphere中，这种场景类似于绑定表的定义，如果两张表的算法相同，可以直接配置绑定表的关系，进行相同算法的连接查询，避免复杂的笛卡尔积。举个例子，有一张非常小的表A，还有一张按照ID分片的表B，我们可以在每一个物理库中复制一份表A，这样我们的Join操作就可以直接下推到每一个数据库操作了。这种现象称为数据倾斜。
2024-02-20 16:32:36
1313
原创 spark为什么比mapreduce快？
因为mapreduce计算模型只能包含一个map和一个reduce,所以reduce完后必须进行落盘，而DAG可以连续shuffle的，也就是说一个DAG可以完成好几个mapreduce，所以dag只需要在最后一个shuffle落盘，就比mapreduce少了，总shuffle次数越多，减少的落盘次数就越多。
2024-02-20 16:03:48
2388
原创 当平台工程遇上DevEx：打造卓越的开发者体验
根据 StackOverflow 的调查，约有 62% 的受访者每天花费超过 30 分钟的时间在搜索答案和解决问题上，而 25% 的人甚至花费超过 1 小时。此外，根据 CNCF 云原生的 Landscape 展示，目前已有 2000+ 张卡片，覆盖了各个维度的能力，但这也导致了开发人员认知负担的日益加重。在公司内部，我们目前拥有行云、泰山等各种开发者工具。然而，这些工具对于开发者在反馈周期、认知负荷、专注状态方面仍然有很大的提升空间。
2024-02-20 15:31:06
1099
原创 营销系统黑名单优化：位图的应用解析 | 京东云技术团队
位图的基本思想是使用bit来标记一个数值，1表示该数值存在，0表示不存在。由于以位为单位存储数据，因此可以大大节省存储空间。通过这种方式，可以非常高效地表示和操作数值集合。举个直观的例子，有40亿个不重复的随机自然数，如果使用long型数值存储，一个long型数值8个字节，40亿个数值占用约29.8GB，但如果是存储为40亿个bit，则只需要约0.47GB。在Java中一个long型数值占64位，可以用一个long型数组存储位图，其中nBits表示位图的初始大小。对于给定任意自然数xx / 64。
2024-02-19 15:14:54
1212
原创 扯淡的DevOps，我们开发根本不想做运维！
平台工程是设计和构建工具链和工作流的学科，可在云原生时代为软件工程组织提供自助服务功能。平台工程师提供的集成产品通常被称为“内部开发人员平台”，涵盖了应用程序整个生命周期的运营需求。--定义来自 platformengineering.org （关于平台工程的定义较多，但大部分意思较一致：主要是倡导自助服务减少底层基础支撑工具的复杂性和不确定性，减化工作流程，减少最终用户在使用过程中的认知成本，从而改善了最终用户的体验，和提高生产效率）
2024-02-19 10:14:50
1226
原创 哎呀，当时怎么没有想到 | 京东云技术团队
在我们的测试工作中，是不是经常遇到这样的情形，发生了线上问题，产品、研发或者测试同学一拍脑袋：当时怎么没有想到，怎么给漏掉了呢？明明是一个非常简单的事情，用大拇指都能想到的验证场景，为何当时就漏测了呢？但实际情况是，逃逸到线上的缺陷，疑难杂症式的极端异常的问题很少，大部分都不复杂且可以在设计和开发中规避，或者在测试过程中被识别出来。针对此类问题，从测试覆盖度的角度，本文试图解释一下为何会发生这样的事情，以及如何有效规避。
2024-02-18 14:33:26
1200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人