自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(966)
  • 收藏
  • 关注

转载 微服务回归单体,代码行数减少75%,性能提升1300%

内容架构是 QQ 浏览器搜索的内容接入和计算层,主要负责腾讯域内的内容接入和处理,当前接入了多个合作方的上千类内容。正如前面《如何避免旧代码成包袱?5步教你接手别人的系统》中提到,这是一套包含 93 个小服务的微服务架构。经过 23 年 Q1 的大力治理,让我们稳住阵脚,进一步对老系统做深入的评估:▶︎ 研发效率较低:新增一类数据需要在 3~4 个服务上做开发,代码量不多,但很繁琐。▶︎ 系统性能...

2023-09-21 09:51:21 22

转载 AI-Driven Development :尝试一种全新的软件开发模式

像我一样,许多工程师已经在用 ChatGPT 解决编程问题,有些人甚至把它当作 Code Copilot 式的编程助手。如果让它编写一个完整项目的代码,效果会怎么样呢?前段时间,我们开发了一个全新的用户社区:蜂巢科技社区。我负责实现这个小程序的前端部分,涵盖商品展示、购买跳转、用户登录、认证、发帖以及评论互动等功能。从下图你能看出,页面的交互设计花了不少功夫。我从未接触过微信小程序开发,而且已经大...

2023-09-12 08:44:51 29

转载 JVM 内存大对象监控和优化实践

作者:vivo 互联网服务器团队 - Liu Zhen、Ye Wenhao服务器内存问题是影响应用程序性能和稳定性的重要因素之一,需要及时排查和优化。本文介绍了某核心服务内存问题排查与解决过程。首先在JVM与大对象优化上进行了有效的实践,其次在故障转移与大对象监控上提出了可靠的落地方案。最后,总结了内存优化需要考虑的其他问题。一、问题描述音乐业务中,core服务主要提供歌曲、歌手等元数据与用户资产...

2023-08-30 08:12:34 41

转载 浅谈统一权限管理服务的设计与开发

导读introduction本文详细探讨了统一权限管理服务(MPS)的设计与开发,针对企业内部多平台权限管理混乱的问题,提出了一套综合RBAC、ACL、DAC权限模型的解决方案。文章从需求分析、技术选型、功能设计等方面全面介绍了MPS的构建过程。在平台&节点管理方面,MPS支持多种业务平台接入方式,同时提供节点管理和组织管理功能。权限管理模块涵盖历史权限导入、权限分配、鉴权服务等。申请&...

2023-08-28 08:52:31 42

转载 关于接口可维护性的一些建议

导读在软件开发中,维护周期占据整个生命周期的绝大多数。在用户剧增的互联网时代,作为主流架构的微服务架构,经常需要面对数据众多的系统,软件维护成本更是日趋陡增。本文结合实际工作体验,从可维护性的角度,提出了几个非常切实可行且行之有效的技巧和建议,涉及了文档、接口、字段、常量,还有日志等几个方面,覆盖了从开发到维护的主要流程。01前言在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元...

2023-08-22 08:45:30 20

转载 从0到1:哔哩哔哩智能客服系统的设计与实现

本期作者1 背景1.1 为什么要做新系统B站过去的客服系统是通过外部采购获得的,已经使用了几年。然而,这个外购的系统存在一系列问题:稳定性低,缺乏良好的拓展性和伸缩性,经常出现bug,难以应对突发的流量高峰。与B站产品体系无法打通,难以根据业务需求进行定制化。由于系统逻辑老旧,稳定性不佳,导致效率低下,已经不再能满足进一步提升客服效率的要求。虽然曾考虑过采购新的客服系统,但也面临一些问题,如:昂...

2023-08-18 11:24:32 45

转载 从9G到0.3G,腾讯会议对他们的git库做了什么?

????导读过去三年在线会议需求井喷,腾讯会议用户量骤增到3亿。快速迭代的背后,腾讯会议团队发现:业务保留了长达5年的历史数据,大量未进行 lfs 转换,新 clone仓库本地空间占17.7G+。本地磁盘面临严重告急,强烈影响团队 clone 效率。当务之急是将仓库进行瘦身。本栏目特邀腾讯会议的智子研发团队成员李双君,回顾腾讯会议客户端的瘦身历程和经验,欢迎阅读。????目录1 瘦身成效2 瘦身前事项3瘦...

2023-08-11 08:54:35 39

转载 vivo 自研鲁班分布式 ID 服务实践

作者:vivo IT 平台团队- An Peng本文介绍了什么是分布式ID,分布式ID的业务场景以及9种分布式ID的实现方式,同时基于vivo内部IT的业务场景,介绍了自研鲁班分布式ID服务的实践。一、方案背景1.1分布式ID应用的场景随着系统的业务场景复杂化、架构方案的优化演进,我们在克服问题的过程中,也总会延伸出新的技术诉求。分布式ID也是诞生于这样的IT发展过程中,在不同的关联模块内,我们...

2023-08-03 08:35:09 39

转载 从php5.6到golang1.19-文库App性能跃迁之路

导读introduction本文深入浅出地分享了百度文库App服务端技术栈从PHP迁移至Go的实战经验,包含了技术选型、基础建设、流量迁移的具体方案,以及核心项目案例的重构实践。全文6209字,预计阅读时间16分钟。GEEK TALK01动机长期以来,百度文库App服务端采用 PHP 作为主要开发语言,高效地支撑了业务迭代发展。随着平台流量的持续增长,服务端的负载越来越大逐渐接近系统瓶颈。为了提...

2023-08-01 10:48:42 31

转载 Dubbo Triple 协议重磅升级:支持通过 HTTP 连通 Web 与后端微服务

全新升级的 Triple 协议Cloud Native在微服务协议选型方面我们看到越来越多的应用从 Dubbo2 TCP 二进制协议迁移到 Dubbo3 Triple 协议 (兼容 gRPC),以充分利用 Triple 的高效、全双工、Streaming 流式通信模型等能力;Triple+HTTP/2 的组合很好的解决了后端服务穿透性等问题,但在阿里及众多社区企业的实践中,我们发现基于 Tripl...

2023-07-20 11:06:42 38

转载 日均调用4亿次!百递云•API开放平台高可用架构系统构建实践

导读API作为不同应用程序之间的桥梁,通过简单对接,即可让不同的企业平台之间自动化完成跨企业协作。快递100旗下B端品牌“百递云”,早在2010年开始投入研发快递物流查询订阅API,创造性推出支撑高并发、高可用、安全可靠、分布式的API开放平台,目前日均调用量已超过4亿次,是国内API经济的引领者与实践者!01API与API经济API,即应用程序编程接口,是一种计算接口,它允许两个不同的应用程序在...

2023-07-19 12:30:40 50

转载 收藏!第十届全球互联网架构大会全日程及参会指南公布

由msup、高可用架构社区和深圳市软件行业协会联合主办的2023年GIAC全球互联网架构大会(第10届)将于6月30-7月1日在深圳华侨城洲际酒店盛大举行。为了筹划这场架构师、技术负责人及高端技术从业人员云集的盛宴,组委会邀请到了24位拥有专业选题视角的业界知名技术公司技术大咖担任出品人,对各专场主题进行把控。......更多大咖可查看官网此外,组委会从互联网架构最热门的AIGC、Web3、数字化...

2023-06-30 09:51:34 173

转载 BUG越改越多?微信团队用自动化测试化险为夷

????导读作为后台开发 Coder,你可能会对以下场景感到似曾相识:历史上处理过的 BUG 反复横跳;版本兼容逻辑多,修复一个 BUG 触发了更多 BUG;上线时系统监控毫无异常,过段时间用户投诉某个页面无数据;改动祖传代码时如履薄冰,心智负担极重。为此本文提出一个自动化测试系统,它能够低成本实现100%的测试用例覆盖率,极大减轻管理自动化测试用例的工作量并提高测试效率,保障后台服务平稳变更。欢迎阅读...

2023-06-26 15:50:46 60

转载 哔哩哔哩大规模AI模型推理实践

一、背景AI算法复杂度逐年上升,需要高效的方式支持AI模型的推理和部署。随着应用规模的扩大,算力资源消耗也在快速增长,对线上资源产生极大的压力。B站AI涉及计算机视觉(CV)、自然语言处理(NLP)、语音等多个场景,服务于内容安全审核、内容理解和创作的上百个应用场景。二、挑战和目标挑战线上资源随着流量线性增长,在降本增效的背景下,希望控制线上资源的增长。随着大语言模型在工业界的推广和落地,NLP场...

2023-06-15 09:21:57 151

转载 84位首席架构师详解面向未来的技术架构

所谓架构师,通俗的说就是架构的设计者或构建者。《架构师到底是做什么的?》其中有一段话是这么说的:一个好的架构师, 就是反复做四件事:先选一个好的挑战;把简单的东西想复杂;把复杂的东西做简单;最后把复杂的东西讲简单。做第一件事是为了创造价值,第二件事是为了控制好风险和准备好未来,做第三件事请是为了做好产品且控制好成本,而做第四件事情是为了做好传承。对于架构师的成长路径,我们可以将其发展过程归纳为以下...

2023-06-13 11:11:02 66

转载 百亿数据百万查询——关系链架构演进

本期作者刘鎏哔哩哔哩高级开发工程师一、关系链业务简介从主站业务角度来看,关系链指的是用户A与用户B的关注关系。以关注属性细分,以关注(订阅)为主,还涉及拉黑、悄悄关注、互相关注、特别关注等多种属性或状态。目前主站关系链量级较大,且还以较快速度持续增长。作为一个平台型的业务,关系链服务对外提供一对多关系点查、全量关系列表、关系计数等基础查询,综合查询峰值QPS近百万,被动态、评论等核心业务依赖。在持...

2023-06-09 08:02:54 157

转载 微信海量数据查询如何从1000ms降到100ms?

????导读微信的多维指标监控平台,具备自定义维度、指标的监控能力,主要服务于用户自定义监控。作为框架级监控的补充,它承载着聚合前 45亿/min、4万亿/天的数据量。当前,针对数据层的查询请求也达到了峰值 40万/min,3亿/天。较大的查询请求使得数据查询遇到了性能瓶颈:查询平均耗时 > 1000ms,失败率居高不下。针对这些问题,微信团队对数据层查询接口进行了针对性的优化来满足上述场景,将平...

2023-06-07 08:18:08 54

转载 让AI替你打工?GPT提升开发效率指南

????导读开发者日常的整个工作流中,AI 大模型能做什么?ChatGPT 等 AI 大模型能不能通过开发者的指引,一步步完成从技术方案输出、编码、测试、发布到运营维护的整套流程?使用中有什么避坑点?本文从实际研发流程的各个环节出发,总结分享了 AI 大模型对研发效能的提升实践。欢迎围观~????目录1 需求分析2 技术方案3 编码4测试5 发布6 运营7 开发者使用AI大模型的注意事项 7.1 准确...

2023-05-29 14:00:27 114

转载 B站大数据集群混部实践(上)- 资源超配篇

本期作者1.背景在过去一年的时间里,B站离线平台资源调度侧的主要挑战有两个方面:1) 随着业务的不断增长,离线集群规模快速膨胀,用户对资源的需求在持续增大,主集群长期处于Pending较高的状态,资源需求超过交付量2) 出于降本增效的考虑,消解Pending的方法不能仅靠物理机的增加了,而是需要在物理机整体数量不变的基础上通过超卖来提升集群整体的资源利用率。为了应对上述挑战,调度侧在向内与向外两个...

2023-05-26 13:41:00 114

转载 通过 HTTP/2 协议案例学习 Java & Netty 性能调优:工具、技巧与方法论

作者:梁倍宁 Apache Dubbo Contributor、陈有为 Apache Dubbo PMC摘要AliwareDubbo3 Triple 协议是参考 gRPC、gRPC-Web、Dubbo2 等协议特点设计而来,它吸取各自协议特点,完全兼容 gRPC、Streaming 通信、且无缝支持 HTTP/1 和浏览器。当你在 Dubbo 框架中使用 Triple 协议,然后你就可以直接使用 ...

2023-05-19 13:24:55 63

转载 会员测试环境治理之路

01 背景会员业务是公司的重要业务之一,为广大会员用户承载最基础的服务保障,随着会员数的破亿,业务复杂度也是呈现几何倍的增加,如何高效的支持会员业务的测试,也成为了会员测试团队不得不面对客观挑战,这其中最核心也是最基础的莫过于测试环境的治理,现将测试环境特点总结如下:特点1:基础应用服务数量多达数百个,分布在几十个域名下,维护成本高。特点2:调用关系复杂,应用之间互相调用,并且相互依赖,联调成...

2023-05-17 14:15:07 60

转载 Redis分布式锁正确打开方式

01为什么要有分布式锁JUC提供的锁机制,可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑;多服务多节点的情况下,就意味着有多个JVM进程,要做到这样,就需要有一个中间人;分布式锁就是用来保证在同一时刻,仅有一个JVM进程中的一个线程在执行操作逻辑;JUC的锁和分布式锁都是一种保护系统资源的措施。尽可能将并发带来的不确定性转换为同步的确定性;02分布式锁特性特性1:互斥性。在任意时刻,...

2023-05-10 14:14:55 78

转载 百度工程师的软件质量与测试随笔

作者 |百度移动生态质效工程师们导读introduction在降本增效、以chatGPT为代表的大模型技术横空出世的背景下,对软件质量和软件测试的领域也带来了巨大冲击,也使得软件质量工作者开始变得焦虑,主要体现在:公司对软件质量从业者的不重视加剧,一些追求临时交付的开发或质量行为屡见不鲜。基于此,近期对10多年以来从事软件质量工作的相关思路总结起来,希望帮助从业者在复杂多变的环境下看清楚些方向...

2023-05-08 10:09:22 78

转载 vivo 推送系统的容灾建设与实践

作者:vivo 互联网服务器团队 - Yu Quan本文介绍了推送系统容灾建设和关键技术方案,以及实践过程中的思考与挑战。一、推送系统介绍vivo推送平台是vivo公司向开发者提供的消息推送服务,通过在云端与客户端之间建立一条稳定、可靠的长连接,为开发者提供向客户端应用实时推送消息的服务,支持百亿级的通知/消息推送,秒级触达移动用户。推送系统主要由接入网关,逻辑推送节点,长连接组成,长连接负责与用...

2023-04-28 10:11:12 83

转载 哔哩哔哩超大规模视频查重算法与工程优化实践

本期作者刘璟哔哩哔哩高级算法工程师齐竟雄哔哩哔哩高级算法工程师唐哲哔哩哔哩高级算法工程师李傲哔哩哔哩资深算法工程师一、需求背景当前站内存在一定比例的UP主投稿重复、低编辑度的低创视频投稿的情况。低编辑度重复投稿表现为,相同或不同视频作者对同一视频素材进行黑边、裁剪、渣清、模板、录屏、变形、滤镜、模糊填充等不影响内容实质的编辑后进行反复投稿,如下图所示。图1:同样的画面与文字内容,套用不同模板。图2...

2023-04-27 13:52:06 165

转载 腾讯专家10年沉淀:后海量时代的架构设计

01背景腾讯面向内部开发者的海量服务之道系列课程颇具名气,它为司内外海量用户提供互联网服务的经验传承。无数开发者尤其是后台技术栈的开发者都获益于这些课程,从而成长起来。本篇我们将提炼这个核心课程精髓,供广泛开发者参考。海量服务的核心是可用性,最终的目的是用高可用性来支撑海量用户的海量请求。无论是意识、方法论、价值观还是手段,都体现了对于某个方面的方式方法的高可用性追求。下述是海量服务之道的课程,...

2023-04-19 14:41:12 111

转载 视频化 Feed 流架构演进

本期作者余洋哔哩哔哩资深开发工程师Feed流Feed 流可以分为两部分来看,即 Feed+ 流,首先看第一部分 Feed,在英文中 Feed 是投喂的意思,也就是你喜欢什么样的内容,就给你什么样的内容,而流则是给用户呈现信息的形式。结合起来就是 Feed 流是一种持续更新并呈现给用户内容的信息流。维基百科对 Feed 的定义如下:On the World Wide Web, a web feed ...

2023-04-12 11:44:53 87

转载 聚焦弹性问题,杭州铭师堂的 Serverless 之路

作者:王彬、朱磊、史明伟得益于互联网的发展,知识的传播有了新的载体,使用在线学习平台的学生规模逐年增长,越来越多学生在线上获取和使用学习资源,其中教育科技企业是比较独特的存在,他们担当的不仅仅是教育者的角色,更是让新技术的创新者和实践者。作为一家在线教育高科技企业,杭州铭师堂成立十余年来一致致力于用“互联网+教育”的科技手段让更多的学生能享有优质的教育,促进他们的全面成长,在不断汇聚优质的全国各地...

2023-04-10 09:24:16 128

转载 解锁抖音世界杯直播背后黑科技 | V-Growth火山引擎增长沙龙圆满落幕!

生机盎然,3月由火山引擎、英特尔、麦思博共同主办的主题为“解锁抖音世界杯直播背后黑科技”的V-Growth火山引擎增长沙龙落地北京和广州。本次沙龙围绕抖音世界杯赛事背后的火山引擎超低延时直播、赛事重保、画质优化、边看边聊,抖音创新玩法与体验优化的相关技术实现,进行分享与探讨。火山引擎视频云是如何进化而成的?火山引擎视频云产品及商业化负责人Yongyuan首先介绍了火山引擎视频云的进化,从2014年...

2023-04-07 09:15:33 146

转载 百度内容理解推理服务FaaS实战——Punica系统

GEEK TALK01背景内容理解服务是对百家号、好看、全民、直播等多个发文方的文本、图片、视频等内容进行理解,并标记内容标签,为百度Feed信息流、搜索等C端用户提供内容,例如,自媒体用户在百家号提交了一篇关于美食的文章,经过内容理解的推荐策略服务,会进行理解并标记美食标签,然后Feed信息流会基于内容标签和浏览用户的爱好进行匹配推荐。内容理解服务是架构统一微服务推理框架,不同业务自建服务App...

2023-04-03 11:35:23 49

转载 会员徽章系统 - 整体介绍及方案设计

01背景介绍在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!1.1关于会员系统 众所周知,任何一款APP的核心都是用户,用户是企业增长和持续盈利的根本所在。 会员系统,是一种针对忠实用户的全链路管理体系,可以帮助企业高效地分析用户的行为路径,并能针对不同的画像模型进...

2023-03-23 12:33:37 199

转载 从云原生到大数据,如何打造 AIGC 新引擎?

活动介绍2022 年,从 AI 绘画到 AI 聊天模型,AIGC 不断爆火出圈,并已然成为新一代内容生产方式。在其惊人的发展速度背后,AIGC 产业的大规模普及对底层算力、模型训练、推理能力也有了更大的需求。如何应对计算、训练、调度、资源利用率等各方面带来的挑战,成为了下一步要解决的问题。3 月 26 日,火山引擎开发者社区 Meetup 第十期邀请到了来自火山引擎和 Intel 的云原生、大数据...

2023-03-16 15:33:33 173

转载 工作一年,我重新理解了《重构》

前言很久之前团队师兄向我推荐了《重构:改善既有代码的设计》这本书,粗略翻阅看到很多重构的细节技巧,但当时还处于未接触过工程代码,只关注代码功能,不太考虑后期维护的阶段,读起来觉得枯燥无味,几乎没有共鸣,一直没有细细阅读。在工作一年后,终于在师兄的督促下,利用一个月左右的早起时光读完了这本书,收获很多,感谢师兄的督促,感谢这本书陪伴我找回了阅读习惯。把这本书推荐给已经接触了工程代码、工作一年左右的新...

2023-03-14 10:17:44 116

转载 抖音世界杯的超高清、低延时、高稳定是怎么做到的?

作为2022世界杯持权转播商、中央广播电视总台2022世界杯官方直播合作伙伴,抖音成为了国内首个获得世界杯直播版权的短视频平台,其权益覆盖世界杯28天全赛程,提供全场次、超高清免费直播。在本届世界杯,抖音在手机、电脑、Pad等多端为用户免费提供了低延迟、超高清以及50帧高帧率的比赛画面,配合无前贴广告,达到超高清、即享式观赛,观赛的同时,用户也可以选择不同的机位、不同的解说线路,能找到自己喜欢的解...

2023-03-09 12:00:02 244

转载 广告流量反作弊风控中的模型应用

作者:vivo 互联网安全团队- Duan Yunxin商业化广告流量变现,媒体侧和广告主侧的作弊现象严重,损害各方的利益,基于策略和算法模型的业务风控,有效保证各方的利益;算法模型可有效识别策略无法实现的复杂作弊模型,本文首先对广告反作弊进行简介,其次介绍风控系统中常用算法模型,以及实战过程中具体风控算法模型的应用案例。一、广告反作弊简介1.1 广告流量反作弊定义广告流量作弊,即媒体通过多种...

2023-03-08 14:12:49 272

转载 百度工程师浅谈分布式日志

作者 |文库基础架构导读introduction我们做软件开发时,或多或少的会记录日志。由于日志不是系统的核心功能,常常被忽视,定位问题的时候才想起它。本文由浅入深的探讨不起眼的日志是否重要,以及分布式架构下的日志运维工具应该具备哪些能力,希望感兴趣的读者能从本文获得一些启发,有所帮助。全文8832字,预计阅读时间23分钟。GEEK TALK01什么是日志日志是一种按照时间顺序存储记录的数据,...

2023-02-27 10:13:56 58

转载 不一样的代码整洁之道

01引言在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了! 自然语言(Natural language)通常是指一种自然地随文化演化的语言,自然语言是人类交流和思维的主要工具。与自然语言相对的是逻辑语言,自然语言是人脑与人脑的交际工具 ,逻辑语言是人脑与电脑的交际工具,计算机语言具...

2023-02-23 09:15:09 65

转载 OceanBase CTO杨传辉:放手去干,这行没有35岁危机

近日,OceanBase CTO 杨传辉做客 CSDN 《开谈:中国开源数据库新格局》栏目,中达金桥资深数据库专家卢东明对话杨传辉等中国领先数据库厂商从业者。对话开场,杨传辉给 OceanBase 打了 3 个标签:分布式、性价比、HTAP,并由此展开对中国数据库新格局、未来趋势、职业发展等多个话题的探讨。以下为对话精华 4000 余字实录。不管是全球的 DB-Engines 排行榜,还是中国的数...

2023-02-22 11:35:06 201

原创 从 ChatGPT 被挤崩,浅谈如何做入口限流?

作者:张斌斌:Nacos&Sentinel Committer最近 ChatGPT 很火,激起了社会广泛关注和学习热潮,记得上次我通宵学习 AI 知识还是 Goolgle 发布最新算法的时候。当时我考虑是不是要转行去搞 AI,不然就有被淘汰的风险,随着学完斯坦福大学的 AI 公开课,突然就释然了。我发现这个行业极少天才去演进算法,大部分人只是训练和调整参数运用到不同的场景。但是最近 C...

2023-02-20 12:24:47 4021

转载 十亿人都在用的健康码,运维体系是怎么设计的?

导读|随着疫情防控模式的迭代,健康码访问DAU逐渐趋于下跌,意味着健康码将逐步完成历史使命,见证着疫情的结束。本文特邀腾讯研发工程师李雄政将从技术架构、可观测体系、运营保障体系等运维体系多方面,总结回顾健康码业务运营过程中的保障技术手段。业务背景疫情三年,奥密克戎已是强弩之末,疫情终将过去。历经数个阶段的迭代,腾讯健康码产品服务于十余个省份的居民,数亿用户、数百亿次亮码。有效助力保障公共卫生安全。...

2023-01-12 17:45:29 230

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除