自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1059)
  • 收藏
  • 关注

转载 万字长文浅谈系统稳定性建设

01背景当时618即将到来,各个团队都在进行期中考试前的模拟考试:军演压测,故障演练,系统的梳理以检测系统的稳定性以应对高可用,高性能,高并发。我们知道系统的稳定性建设是贯穿整个研发流程:需求阶段,研发阶段,测试阶段,上线阶段,运维阶段;整个流程中的所有参与人员:产品,研发,测试,运维人员都应关注系统的稳定性。业务的发展及系统建设过程中,稳定性就是那个1,其他的是1后面的0,没有稳定性,...

2024-07-12 11:48:27 10

转载 基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境

01前言Kafka 作为流处理平台,在实时流计算和在线业务场景,追尾读追求端到端低延迟。在离线批处理和削峰填谷场景,数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑,Apache Kafka 的数据存储在本地文件,通过 mmap 将文件映射到内存中访问,天然就可以依托操作系统来完成文件的缓冲持久化、缓存加载和缓存驱逐。AutoMQ 采用存算分离的架构,将存储分离至对象存储,本地没有数据文...

2024-07-11 11:12:43 12

转载 领域驱动设计DDD在B端营销系统的实践

本文整理自美团技术沙龙第73期《基于领域驱动设计(DDD)的架构演进和实践》,系统复杂性根源于隐晦(难理解),耦合(难改动)和变化(难扩展),DDD正是应对系统复杂性的重要方法。本文针对B端营销系统设计中的复杂性,从战略设计,战术设计到代码架构,详细介绍了DDD在各个阶段的实践,期望为大家提供一些可供参考和借鉴的思路。1 背景2 基本概念3 战略设计实践4 战术设计实践5 代码架构实践6 总结7 ...

2024-07-09 10:14:11 14

转载 vivo 互联网自研代码评审 VCR 落地实践

本文介绍了vivo工程效能团队基于 Gitlab、Gerrit等开源工具搭建的VCR平台,代码评审idea插件开发及开发过程中遇到的挑战、困难,并分享了相应的应对策略和优化方案。代码评审是软件质量保证一种活动,由一个或者多个人对一个程序的部分或者全部源代码进阅读理解。一般来说分为作者和评审者两种角色,作者方提供代码逻辑的介绍和代码,评审者则对提供的代码基于设计,功能性和非功能性等方面认知进行阅读并...

2024-07-08 08:42:17 14

转载 怎么在业务团队写好发消息的代码?

遇到的问题做技术的同学,尤其是业务开发同学都是经常和消息打交道的,大家也都喜欢研究像MetaQ这种消息中间件的一些实现代码。作为一曾经的业务开发同学(目前在负责稳定性),深知要在业务团队写好发消息的代码,也绝非易事。曾经我是交易订单团队的一名开发,我遇到了下面的一个问题:try { transactionTemplate.start(); // 位置1 orderManager.cre...

2024-07-05 07:35:13 13

转载 程序员必备 VS Code 插件大全!

工欲善其事,必先利其器!VS Code 就像经典游戏《上古卷轴5:天际》一样,本体已经足够强了,但如果你装上各种奇技淫巧的 mod(插件),你能收获完全不一样的游戏(开发)体验。——介系你没有玩过的船新版本!本篇文章,我们精选了鹅厂程序员强推的 VS Code 插件大全,帮助你在写代码的路上一路狂飙,效能翻倍!01Code Runner最好的软件开发往往来自于程序员的直接需求,Code Runne...

2024-07-02 11:39:28 19

转载 京东自研性能追踪系统pfinder实现原理揭秘

01引言在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!在现代软件开发过程中,性能优化和故障排查是保证应用稳定运行的关键任务之一。Java作为一种广泛使用的编程语言,其生态中涌现出了许多优秀的监控和诊断工具,诸如:SkyWalking、Zipkin等,它们帮助开发者和运维人员深入了解应用的...

2024-06-28 11:34:06 13

转载 Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得

01前言在 Java 应用程序中,垃圾回收(Garbage Collection,以下简称 GC)是一个不可避免的过程,它负责释放不再使用的内存空间以避免内存泄漏。然而,GC 操作通常会导致短暂的停顿时间(Stop the World,以下简称 STW),这对于对延迟敏感的应用程序来说是一个严重的问题——STW 会导致应用程序暂停响应,从而影响用户体验和系统性能。为了解决这个问题,Java 引入了...

2024-06-27 11:53:32 23

转载 A2M人工智能创新峰会即将开幕!携手66家企业揭秘大模型标杆案例

今年,大模型的竞赛终于翻开了新的一页。大模型从卷文本长度、语言模型主导、聚焦认知层面的“上半场”,进入了多模态模型、注重商业模式和场景应用的“下半场”。大模型正在掀起一场“诸神之战”,然而不少企业都被卡在关键一步,那就是落地。为了能够帮助更多的企业了解大模型技术,将其应用到实际工作中,由msup举办的的2024年A2M人工智能创新峰会将于6月28-29日在上海明捷万丽酒店盛大举行。本届峰会,组委会...

2024-06-25 09:35:49 48

转载 当「软件研发」遇上 AI 大模型

大家好,我是通义灵码的产品技术负责人陈鑫。过去有八年时间,我都是在阿里集团做研发效能,即研发工具相关的工作。我们从 2015 年开始做一站式 DevOps 平台,然后打造了云效,也就是将 DevOps 平台实现云化。到了 2023 年,我们明显感觉到大模型时代来了以后,软件工具将面临着彻底的革新,大模型和软件工具链的结合,使软件研发进入下一个时代。那它第一个落脚点在哪?实际上就是辅助编程,所以我们...

2024-06-24 12:32:30 19

转载 请架构师入局AI,现在!立刻!马上!!

“大模型狂热”从未停止国内巨头战队华为、百度、阿里在AIGC的厮杀中从通用大模型渗透到各垂类应用市场就连中国创投资本也独宠AIGC企业百度、科大讯飞市值分别增加27亿和45亿美元这导致AI人才缺口大、价格贵不少企业开出百万年薪挖掘大模型人才!!作为程序员,如何抢占先机,享受AI技术带来的红利?!????知乎知学堂邀你加入:行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时后关闭...

2024-06-23 16:04:23 18

转载 干货 | 携程数据基础平台2.0建设,多机房架构下的演进

作者简介cxzl25,携程高级软件技术专家,关注数据领域生态建设,对分布式计算和存储、调度等方面有浓厚兴趣,Apache Kyuubi PMC Member,Apache Celeborn / ORC Committer。一、背景携程数据基础平台主要组件包括:HDFS 分布式存储集群,YARN 计算集群,Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型,...

2024-06-21 12:15:25 16

转载 全日程抢先看!10大分论坛 50+topic 快来pick你心仪的技术主题吧

2024年6月28日至29日,一场属于开发者的盛会「稀土开发者大会」,将在北京富力万丽酒店盛大开幕。这不仅是一场技术的盛宴,更是思想的碰撞,智慧的火花将在这里点燃整个盛夏!本次大会以"1+10+4+X"的形式展开,汇聚了来自全球的技术专家、开发者社区领袖、行业先锋以及生态合作伙伴,他们带来的不仅有精彩纷呈的演讲和讨论,还有丰富多样的线下活动,让你的参与体验惊喜不断。1场主题演讲:集结海内外业界大咖...

2024-06-20 16:44:42 17

转载 一文详谈RAG优化方案与实践

导读RAG通过检索现有的大量知识,结合强大的生成模型,为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起,大语言模型再次走进人们的视野,其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用,比如政务、医疗、交通、导购等行业。通义系列、GP...

2024-06-19 15:31:40 308

转载 报名 | 美团技术沙龙第82期:美团业务架构演进与实践

【美团技术沙龙】由美团技术团队和美团科协主办,每期沙龙邀请美团及其他互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域。从2015年7月举办第一期至今,已经吸引了三万多名工程师参会。本期活动由清华大学-美团数字生活联合研究院和深圳市美团机器人研究院联合出品。活动时间:2024年6月20日(周四)14:00 - 16:50活动地址:活动开始之前会发短信通知直播链接。活动报名:点击文末“...

2024-06-17 08:45:52 33

转载 vivo 制品管理在 CICD 落地实践

作者:vivo 互联网效能平台团队 - Chen Lingling在DevOps实践中,制品管理是一个重要的组成部分,它可以帮助团队快速交付高质量、高可靠性的软件,本文将介绍在 DevOps 领域,vivo CICD是如何进行管理制品,阐述了 CICD 制品管理的演进过程与落地实践,希望能为读者提供一些实践经验和思路。一、前言随着软件开发的不断发展,DevOps已经成为了一种流行的软件开发实践方式...

2024-06-14 13:09:26 24

转载 抱歉,下半年我劝各位真的别轻易离职......

2024,国内首位AI程序员上岗,垂类大模型应用已经到了井喷期如果你不懂AI,下岗可能性只会越来越大!如今,百度、京东、华为等科技互联网巨头纷纷加快布局人工智能技术和市场,AI大模型人才招聘年薪有80W-96W招聘需求:精通业务:兼具产品/数据思维技术过硬:懂AI大模型新技术能带团队:技术过关且带团队未来懂AI程序员不仅不会被裁,收入还能更高!!作为普通程序员,如何学会运用AI大模型,成为大厂争抢...

2024-06-12 11:45:14 35

转载 腾讯新闻推荐架构升级:2 年、 300w行代码的涅槃之旅

程序员最大的幸福是看到自己的代码跑在千万人的设备上,程序员最大的不幸是去维护千万人设备背后的老代码。腾讯新闻,是一个有着十多年历史、海量用户规模的经典业务,其背后的系统走过了门户时代,走到了推荐算法时代。随着时间的推演,老旧架构面临着那些经典的问题:可用性差,服务不稳定;扩展性差,开发周期长,迭代效率低;200多个代码仓库,300多万行代码,编程语言、协议混用……叠加上推荐算法的时代命题,如何...

2024-06-11 11:32:06 46

转载 解密腾讯云ChatBI:智能数据分析的未来

近期,在GIAC及腾讯技术开放日现场,小编有幸采访了腾讯云大数据应用产品中心总经理陈凡凡。陈总详细解答了我们提出的多个大数据领域问题,进一步向我们揭示了这款基于大模型的新一代智能商业分析解决方案的独特之处。1、陈总您好,很高兴能采访到您,请简单介绍一下自己以及您的从业经历。陈凡凡:您好,我目前在腾讯云负责云上大数据应用产品的工作,包括我们这次即将推出的产品——腾讯云BI智能助手ChatBI。我20...

2024-06-07 09:03:30 107

转载 B站稿件生产平台高可用建设分享

背景B站作为国内领先的内容分享平台,其核心功能之一便是支持UP主们创作并分享各类视频内容。UP主稿件系统作为B站内容生产的关键环节,承担着从内容创作到发布的全过程管理。为了满足不同创作者的需求,B站提供了多种投稿渠道,包括移动端的粉大加号、必剪APP,以及Web端和PC端的上传方式,确保创作者可以随时随地上传自己的作品。同时,B站的内容来源多样化,既有用户生成内容(UGC),也有专业生成内容(PG...

2024-06-05 09:47:18 63

转载 视频网站播放全链路压测实践之路

01背 景播放链路是爱奇艺最重要的业务,链路稳定性极其重要,随着爱奇艺用户的不断增长和热播剧集的推广,播放链路往往面临着难以预估的用户流量的突增,考验着链路中各个服务系统的稳定性和性能,这也直接影响着大量用户的观影体验,实施全链路压测已经成为重要且必要的课题。为什么要进行链路级的压测,单机、单系统压测为何不可达成目标?线上容量 ≠ 单机容量* 数量:线上运行环境是复杂多变的,即使配置相同的机器...

2024-05-31 11:34:48 40

转载 GIAC全球互联网架构大会参会攻略

由msup和高可用架构社区联合主办的2024年GIAC全球互联网架构大会将于5月24-5月25日在深圳华侨城洲际酒店盛大举行。为了筹划这场架构师、技术负责人及高端技术从业人员云集的盛宴,组委会邀请到了30+拥有专业选题视角的业界知名技术公司技术大咖担任联席主席&出品人,对各专场主题进行把控。此外,组委会从互联网架构最热门的AIGC、大模型、云原生、架构演进等领域甄选前沿的有典型代表的技术创...

2024-05-24 17:02:39 78

转载 Java线程池的实现原理及其在业务中的最佳实践

导读本文讲述了Java线程池的实现原理和源码分析以及线程池在业务中的最佳实践。一、线程池简介1.什么是线程池?线程池是一种用于管理和复用线程的机制。线程池的核心思想是预先创建一定数量的线程,并把它们保存在线程池中,当有任务需要执行时,线程池会从空闲线程中取出一个线程来执行该任务。任务执行完毕后,线程不是被销毁,而是返还给线程池,可以立即或稍后被再次用来执行其他任务。这种机制可以避免因频繁创建和销毁...

2024-05-23 11:39:31 48

转载 无用代码扫描组件设计

Tech目录前言设计思路实现结果01前言在今年的敏捷团队建设中,我通过Suite在软件开发的过程中,维护一个干净、高效的代码库是非常重要的。随着项目的发展,系统越来越臃肿,开发过程中代码库往往会积累大量不再使用或者冗余的无用代码,这些无用代码不仅增加了系统的复杂度,还可能降低软件的运行效率,进而增加系统维护成本。因此,设计一个能够自动扫描并识别这些无用代码的组件显得尤为重要。本文将围绕这一需求,...

2024-05-21 10:09:36 36

转载 当中台过气,微服务回归单体,DDD的意义何在?

2015年之后,随着云原生、微服务、大中台等一系列技术名词诞生的同时,还有一个耳熟能详的名词“领域驱动”也开始被捧上神坛。笔者初次听到领域驱动是参加一个技术分享会,当时给我的直观感受就是:好像说了什么,但又好像什么都没说,很多概念很"形而上学",在天空中飘啊飘,无法落地。十年过去了,中台已经过气,微服务回归单体也一度成为技术圈讨论的热点话题,曾经神坛上云遮雾绕的 DDD 在今天看来是否还有讨论的意...

2024-05-20 10:17:27 20

转载 活动报名|5月24日,腾讯云「数据管理」产品技术峰会议程公布

随着信息技术的飞速发展和经济社会深度融合的推进,数据规模呈现出爆炸性增长的态势,数据格式的复杂性也日益提升。这种变化不仅为企业带来了前所未有的机遇,也对其数据管理能力提出了更高的挑战。传统的数据管理手段已难以满足当前的需求,迫切需要一套科学、系统的数据管理框架和评估标准来指导企业应对这一挑战。5月24日(周五)13:30-16:30,腾讯云将在深圳举办腾讯云「数据管理」产品技术峰会,本次峰会特别邀...

2024-05-20 10:17:27 38

转载 年薪100w!真心建议后端冲一冲新兴领域,工资高前景好

GPT全新升级,再次震动全球市场!OpenAI 推出最新AI模型GPT-4o实现视频语音即时交互AI的多模态交互形式有了巨大飞跃人工智能+的应用场景越来越多!马上,国内互联网行业招聘风向将被改变AI大模型人才缺口会越来越大现在,Google、百度、腾讯等等巨头互联网公司已经开出100w-200w年薪,挖掘AI人才!作为普通程序员,如何在技术上不掉队,享受AI技术带来的红利?!????知乎知学堂特发起:...

2024-05-19 16:25:05 24

转载 哔哩哔哩直播通用榜单系统

榜单系统的定位和业务价值榜单遍布B站直播相关业务的各个角落,直播打赏、直播间互动、付费玩法、互动玩法、活动、主播PK、语聊房、人气主播排名、高价值用户排名、增值集卡、up主充电等等,在这众多的业务场景中,我们能看到各种各样的榜单。榜单的存在,可以激发主播提升表演水平、提高表演质量的积极性,从而吸引更多的观众。观众也可以通过榜单展现的排名,了解其他人对主播的互动打赏情况,激励他更加积极地参与互动或打...

2024-05-17 08:25:12 32

转载 论文解读 - MemoryDB: 一种快速且持久的内存优先云数据库

最近在微信群里看到 @mwish 分享 Amazon 关于 MemoryDB 的论文:Amazon MemoryDB: A Fast and Durable Memory-First Cloud Database[1],读完感觉设计思路挺不错,就将个人在阅读中认为论文里面的一些关键要点记录并分享出来。MemoryDB 是基于 Redis 开发的内存数据库,主要的目标是解决社区 Redis 在数据...

2024-05-14 10:02:17 78

转载 AI时代基础架构如何演进:快手资深架构师访谈

导读:2024年5月24-25日,2024全球互联网架构大会(简称:GIAC大会)将于深圳华侨城洲际酒店举行。第11届GIAC,组委会从互联网架构热门的AIGC、效能提升、 云原生架构、数据智能、新硬件等领域甄选前沿的有典型代表的技术创新及研发实践的架构案例,分享他们在本年度值得的总结、盘点的实践启示,打造一个分享及讨论平台,帮助和指导听众了解和改进互联网构建方式。在大会前夕,GIAC组委会采访了...

2024-05-13 08:38:26 77

转载 Redis Pipelining 底层原理分析及实践

作者:vivo 互联网服务器团队-Wang FeiRedis是一种基于客户端-服务端模型以及请求/响应的TCP服务。在遇到批处理命令执行时,Redis提供了Pipelining(管道)来提升批处理性能。本文结合实践分析了Spring Boot框架下Redis的Lettuce客户端和Redisson客户端对Pipeline特性的支持原理,并针对实践过程中遇到的问题进行了分析,可以帮助开发者了解不同客...

2024-05-11 12:57:57 41

转载 5月,一个新方向爆了,100万很稳。。。

重磅消息,国资委打响了国内AI第一枪!宣布央企将把发展AI放在全局统筹地位上,并加快建设一批智能算力中心。这意味着传统行业又迎来了一次大洗牌,这个过程需要大量AI人才!!现在国内头部人工智能公司已经开始用AI数字人助力各行各业,央企+交互数字人将成今年一整年的趋势。除此之外,知名大厂也都在布局AI市场。懂AI的程序员年薪已经翻到80w-96w !风口之下,与其焦虑被行业淘汰,不如先人一步掌握 AI...

2024-05-08 15:00:44 21

转载 腾讯文档收集表后台重构:改造一个巨石单体!

收集表是腾讯文档的核心品类之一,也是主要的用户增长来源渠道。作为在重大社会事件中承担社会责任的主要功能,收集表既面临着海量规模的压力考验,也在高速发展的业务进程中遇到了遗留技术债的掣肘。-核心服务为C++“翻译”过来的 C++风格单体非标 tRPC-Go 服务,代码量较大,不利于多人敏捷协作开发,业务快速迭代时期夹带发布风险高,故障爆炸半径大。-业务逻辑耦合严重,接口未做轻重分离,稳定性较差...

2024-05-07 08:38:51 22

转载 一次接口的性能优化之旅

01引言在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!在项目开发过程中,我们经常会遇到接口响应慢的问题。这不仅影响了用户体验,还可能降低了系统的吞吐量。为了提高接口性能,我们需要对整个系统进行全面的优化,包括代码层面、数据库、缓存、异步处理等方面。本文将分享一个接口性能优化之旅,希望能帮...

2024-04-29 10:42:07 27

转载 使用策略模式消除冗长的if-else|记一次smart-auto重构总结

一、背景smart-auto工具经过多年的迭代和好几代测试同学的开发,现在功能已经非常强大,支持各种HSF接口调用返回值的对比和断言能力,每日跑的测试件已经占到了淘宝买菜所有自动化测试件的55%以上。但是随着功能的不断增加,代码也越来越来庞大,之前单一的功能也变得复杂,代码的可维护性也在不停的降低。所以针对smart-auto接口测试相关的核心代码进行了一次重构,使代码变得更清晰和可维护。二、现状...

2024-04-26 08:44:07 30

转载 微软、字节、阿里等大厂架构师年中聚会:2024年最新架构演进与发展趋势

今年,被广泛预见为AI技术关键转折点的年份,生成式AI热度不断攀升,应用落地加速深化。在这个过程中,为了适应日益复杂的业务需求,背后的架构也将迎来新一轮的革新。所以,作为架构师,应该具备如下三个基本能力:第一、对AI技术和开发应用流程有整体掌握能力,同时,跟踪AI技术的最新发展趋势,包括深度学习、强化学习、自然语言处理等领域的进展,以便及时应用到实际项目中;第二,要对上层业务有充分的理解,有很好的...

2024-04-23 12:11:43 72

转载 一次Redis访问超时的“捉虫”之旅

01引言作为后端开发人员,对Redis肯定不陌生,它是一款基于内存的数据库,读写速度非常快。在爱奇艺海外后端的项目中,我们也广泛使用Redis,主要用于缓存、消息队列和分布式锁等场景。最近在对一个老项目使用的docker镜像版本升级过程中碰到一个奇怪的问题,发现项目升级到高版本镜像后,访问Redis会出现很多超时错误,而降回之前的镜像版本后问题也随之消失。经过排查,最终定位问题元凶是一个涉及...

2024-04-22 15:48:41 65

转载 代码质量与技术债系列分享之一—如何做好CodeReview

01参考资料元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!https://composity.com/post/too-busy-to-improvehttps://commadot.com/wtf-per-minute/https://dl.acm.org/doi/10.1145/3585004#d1e372https://google.githu...

2024-04-19 11:43:00 62

转载 一文搞懂七种基本的GC垃圾回收算法

本文整理了七种常见 GC 算法的基本原理,包括 GC 标记-清除法、引用计数法、GC 标记-复制算法、GC 标记-压缩算法、保守式 GC、分代垃圾回收、增量式垃圾回收(三色标记法),可以作为学习 GC 知识的框架。本文主要是中村成洋、相川光写的《垃圾回收的算法与实现》一书的读书笔记,没有输出的学习就是一盘散沙。我们要学习 GC 就要系统性地学,形成自己的知识框架,后面再学习其他的 GC 实现,就知...

2024-04-17 16:39:41 38

转载 携程火车票异常检测和根因定位实践

作者简介龙川泾渭,携程算法工程师,专注异常检测、根因分析、时间序列预测等领域。摘要携程火车票包含1000+的业务指标,人工监测指标的异常情况耗时费力,而由于业务差异,基于规则和简单统计学的检测方案只能覆盖到单个指标或者单类指标,并且不能随着新业务上线或者功能变动灵活动态的调整相应的规则,并不适用于大量不同业务线的指标。我们希望使用AI算法来代替人工,对指标进行全自动的监控,旨在发现指标的异常和导致...

2024-04-16 17:20:31 43

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除