- 博客(1766)
- 资源 (7)
- 收藏
- 关注
原创 实现悲观协议,除了锁还能咋办?
并发控制机制的划分方法很多,没有统一标准,使用提出的划分标准,分为悲观协议与乐观协议两种。这里的乐观协议是上一讲提到的狭义乐观协议,悲观协议又分为锁和非锁两大类,我们简单介绍了2PL这一个分支。我们回顾了Percolator模型,按照S2PL的定义,Percoloatro本质就是S2PL,因此TiDB的乐观锁也属于S2PL。S2PL是数据库并发控制的主流技术,但是锁管理复杂,在实现串行化隔离级别时开销太大。而后,我们讨论了非锁协议中的串行化图检测(SGT)。
2024-03-18 09:54:53 604
原创 程序员入行忠告!
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。1 主动解决【技术】问题 ...
2024-03-16 22:39:25 679 1
原创 数仓开发之ODS层
优秀可靠的数仓体系,需要良好的数据分层结构。合理的分层,能够使数据体系更加清晰,使复杂问题得以简化。以下是该项目的分层规划。
2024-03-15 14:32:23 293 1
原创 为啥你的项目总延期?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。案例一 有没有一种可能,就是...
2024-03-12 23:31:23 790
原创 碾压GPT-4!Claude3到底有多强?
2024年3月4日,官方宣布推出 Claude 3 模型系列,它在广泛的认知任务中树立了新的行业基准。该系列包括三个按能力递增排序的最先进模型:Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供越来越强大的性能,允许用户为其特定应用选择智能、速度和之间的最佳平衡。Opus 和 Sonnet 现在已经可以在 claude.ai 和目前在普遍可用的 Claude API 中使用。Haiku 很快也会上市。
2024-03-12 14:19:44 702
原创 大厂裁员从谁开始?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。HRBP,基层小领导,[VP...
2024-03-11 22:42:21 698
原创 tsv文件在大数据技术栈里的应用场景
是的,\t是指制表符(tab),它通常用作字段分隔符在 TSV(Tab-Separated Values)格式的文件中。TSV是一种简单的文本格式,它使用制表符来分隔每一列中的值,而每一行则代表一个数据记录。上面的例子中,\t表示每个值之间的制表符,用来区分不同的列。当你在文本编辑器或者代码中见到\t,它代表的在实际的文件中通常是一个不可见的制表符。在大多数编程语言中,比如Python、Java等,制表符可以用转义字符"\t"来表示。
2024-03-11 22:15:32 1017
原创 这本书太好了!150页就能让你上手大模型应用开发
仅仅发布 5 天,ChatGPT 就吸引了 100 万用户——当然,数据不是关键,关键是其背后的技术开启了新的 AI 狂潮,成为技术变革的点火器。他们关于本书的书评如下。书如其名,这是一本有关大模型应用开发的极简入门手册,为初学者提供了一份清晰、全面的“最小可用知识”,带领大家快速了解 GPT-4 和 ChatGPT 的工作原理及优势,并在此基础上使用流行的 Python 编程语言构建大模型应用。这本书虽然是面向软件工程师的,但因为足够基础,所以我蛮建议不懂编程的朋友从这本书开始了解 AI 的细节。
2024-03-08 15:49:06 927
原创 9款Visio平替架构师作图工具!
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。1 [LucidChart]...
2024-03-07 23:04:56 761 1
原创 9款世界级垂直领域软件架构师Visio平替作图工具!
综上所述,国内外在线这些工具在功能上,几乎没有特别明显的差别,支持的功能也都非常的全面,国外很多创业团队起步比较早,产品想对成熟,但是产品基本上都是收费的。国内的工具虽然免费,但是在功能上,还需要一些完善,当然在“本地化”上,国内肯定也占有很大的优势。也期待国内有更多垂直领域的专业工具出现,只要能为用户带来价值的产品,相信市场一定会给予认可的。当然除了以上这些,国外还有很多做线框图的工具,只不过在功能上稍微有些单一,本文并没有列出。
2024-03-07 22:54:10 839
原创 大厂的视频推荐索引构建解决方案
数据链路角度分两块:先验数据链路,数据源主要来自内容中心,通过解析服务写入到CDB中。其中这个链路又分为全量链路和增量链路全量链路主要是在重建索引时才需要的,触发次数少但也重要。它从DB这里dump数据,写入kafka,然后通过写入服务写入ES增量链路是确保其实时性的链路,通过监听binlog,发送消息至kafka,写入服务消费kafka然后写入ES后验数据链路。APP用户行为流水每天有上百亿,这个量级直接打入ES绝对扛不住。需对此进行聚合计算。
2024-03-07 11:04:05 470 1
原创 大厂报价查询系统性能优化之道!
机票查询系统,日均亿级流量,要求高吞吐,低延迟架构设计。提升缓存的效率以及实时计算模块长尾延迟,成为制约机票查询系统性能关键。本文介绍机票查询系统在缓存和实时计算两个领域的架构提升。机票搜索业务:输入目的地,然后点击搜索,后台就开始卷了。基本1~2s将最优结果反给用户。这个业务存在以下业务特点。使用了多层灵活缓存,从而能很好的应对高流量的冲击,提高反应速度。使用可靠的调度和负载均衡,这样就使我们的服务保持高可用状态,并且解决了长尾的查询延迟问题。
2024-03-04 23:33:59 1099 1
原创 服务发现:CP or AP?
通常可使用zk、etcd或分布式缓存(如Hazelcast)解决事件通知问题,但当集群达到一定规模之后,依赖的ZooKeeper集群、etcd集群可能就不稳定,无法满足需求。注册中心负载过高各节点数据不一致服务下发不及时或下发错误的服务节点列表RPC框架依赖的注册中心的服务数据的一致性其实并不需要满足CP,只要满足AP即可。我们就是采用“消息总线”的通知机制,来保证注册中心数据的最终一致性,来解决这些问题的。
2024-03-03 19:34:53 855 2
原创 Twitter推荐引擎架构设计分析
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。0 前言 可靠性保障是复杂的...
2024-03-03 00:01:53 785
原创 再见了Kafka,MQ新王Pulsar大厂实践!
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。本文介绍公司选择 Apach...
2024-03-01 23:34:02 790
原创 2024年值得关注的5款国产低代码开发平台
最近几年,低代码\无代码\零代码技术和快速开发平台比较热门,全球知名低代码平台厂商有:微软Power Platform、西门子Mendix、OutSystems等。我们国内最近几年也有一些信创国产化低代码平台涌现出来,比如:云程、氚云、轻流、简道云、得帆、ClickPaaS等,华为、阿里、百度等一些互联网大厂也杀入了低代码赛道,发布了低代码引擎或低代码前端框架等开源产品。
2024-02-29 14:31:19 1481 7
原创 来看大厂如何设计运营后台系统的?
配置数据Json化实现业务字段可扩展性设计的数据模型来介绍满足多语言下各类运营配置数据方法提供SDK内部实现本地缓存,MQ监听,异步更新解决服务中心化的大流量问题和缓存导致数据不一致问题。针对海外具体情况,提出客户端缓存的相关方案如错误码配置举例,错误码需要给客户端返回各类错误码以及对应的相关文案,文案是多语言场景的,通过运营位配置化实现,只需要在分析需求,拆分业务字段和数据露出的条件后,很快就可以给出相应的运营后台。关注我,紧跟本系列专栏文章,咱们下篇再续!
2024-02-25 22:12:28 619 1
原创 大厂的数据质量中心系统设计
日常工作中,数据开发上线完一个任务后并不是就可以高枕无忧,时常因上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而问题发现可经历较长周期(尤其离线场景),往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题(对于一个较冷的报表,这个周期可能会更长)。由于数据加工链路较长,需借助数据血缘关系逐个任务排查,也会导致问题定位难度增大,严重影响开发效率。如数据问题未及时发现,可能导致业务方作出错误决策。此类问题可统一归属为大数据领域数据质量问题。
2024-02-20 22:39:19 1159
原创 ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the ‘ssl‘ module is compiled with
错误消息提到OpenSSL 1.1.1+和LibreSSL 2.8.3的原因是,urllib3 v2.0(您已安装的版本)需要OpenSSL 1.1.1+才能正常工作,因为它依赖于OpenSSL 1.1.1的一些新特性。或者您可以使用与之兼容的较旧版本的urllib3,例如urllib3 v1.26.6,它没有严格的OpenSSL版本要求。问题在于当前安装在您的环境中的’ssl’模块是使用LibreSSL 2.8.3编译的,这与urllib3 v2.0不兼容。
2024-02-19 00:06:34 251
原创 大厂的供应链采购系统设计
公司发展面临商业环境变化,如流量模式、竞争格局和公共卫生事件。采购系统作为供给端核心系统之一,做好顶层设计并持续进行系统演进,才能适应剧烈的业务变化,服务好最终用户。本文从定义宏观设计蓝图落地系统持续演进展开整个采购系统架构过程,看业务系统架构设计过程。不断聚焦,推演采购系统的底层架构关键点。供应链这种B端系统门槛高,对架构师业务深度、技术深度提出双向要求,埋头做系统可不行。将业务敏感度和架构方法论结合,用发展动态眼光看,才能发现真正技术价值和业务价值。本文由博客一文多发平台OpenWrite发布!
2024-02-15 22:23:31 883
原创 大厂的供应链域数据中台设计
受限于对业务掌握度及对应数据特性的了解,大数据平台更倾向海量的同构或异构数据采集,清洗,加工,存储。而提供的数据服务更多是对采集到数据进行汇总及分析。为产品线提供准确及时的数据服务也为数分提供完善的数据脉络,帮助其更好对这些数据深层挖掘分析,再次提升数据价值进则作为独立数据域的数据中台产品,逐渐完善自身特性退则作为一个数据域模块快速融入公司大数据中台基于 DDD 领域建模的供应链域数据中台设计基本完毕,紧接着就是后续流畅的开发工作。
2024-02-10 19:03:51 687
原创 字节跳动官方出品AI,白嫖使用GPT4!
字节跳动在海外推出的AI聊天机器人和应用程序编辑开发平台。专为开发下一代AI聊天机器人而设计,该平台允许用户无论是否有编程经验,都能快速创建各种类型的聊天机器人,并轻松部署在不同的社交平台和消息传递应用程序上。
2024-02-10 18:50:11 1139
原创 供应链领域数据中台架构建设(下)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计。3 实践篇 3.1 供应链域...
2024-02-10 18:21:45 400
原创 供应链领域数据中台架构建设(上)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都国企技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设...
2024-02-08 23:58:51 932
原创 大厂聚合支付系统架构演进(下)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都国企技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设...
2024-02-07 21:40:20 949
原创 字节跳动官方出品AI,白嫖使用GPT4!
字节跳动在海外推出的AI聊天机器人和应用程序编辑开发平台。专为开发下一代AI聊天机器人而设计,该平台允许用户无论是否有编程经验,都能快速创建各种类型的聊天机器人,并轻松部署在不同的社交平台和消息传递应用程序上。
2024-02-07 13:58:15 797
原创 大厂聚合支付系统架构演进(上)
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都国企技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。负责:中央/分销预订系统性能优化;活动&优惠券等营销中台建设;交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设...
2024-02-06 23:03:33 644
原创 05-大厂咋解决技术债的?
技术债管理团队是组织希望扩展产品开发工作时必不可少的重要团队。我们可以将其命名为核心团队、基础设施团队、架构团队,甚至像 SWAT Team 这样有趣的名称。为了确保可扩展性,核心团队需要在强制的一致性和放松的灵活性之间做出平衡,对特性团队提供适当的支持。这种错综复杂的平衡只能与特性团队之间紧密协作才能实现,这需要团队具备稳定出色的技术能力,同时还要妥善管理利益相关者事宜。虽然核心团队可能没有任何直接、有形、面向客户的外部输出,但它的贡献对整个产品开发工作的成功都非常关键,所以应该是可见的。
2024-01-30 22:49:44 695
原创 大厂的营销逆向域DDD实践
本文解析营销逆向域的业务形态及逆向域的领域实践,解决资产的逆向回收,支持多种退款场景,支持不同业务规则,实现逆向流程配置化。相比下单域,逆向较稳定,易收拢业务、方便制定规则、能力可复用。但在领域设计上还可继续抽象与中台其他系统联动。关注我,紧跟本系列专栏文章,咱们下篇再续!作者简介:魔都国企技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。编程严选网本文由博客一文多发平台OpenWrite发布!
2024-01-28 22:08:16 1392
原创 图解大厂清结算系统设计
账务清结算系统是支付系统的资金控制管理模块,分为:账务系统为外部客户和内部管理者提供符合公司内部财务核算的各种会计凭证、账簿与财务报表,一般分为:支付业务的资金计算模块,最终目的是实现与商户的货款两清,功能包括:账务清结算系统承接支付的所有交易的资金处理。除了满足基本结算业务规则和财务会计规则,还需根据互联网支付业务特点,额外考虑:三方支付场景中,账务和清结算是交易的必要一环,入账和清结算请求,来自交易支付系统。交易支付系统分别通知账务、清结算模块,完成交易入账、交易清结算处理,清结算完成结算后再次调用入账
2024-01-28 18:10:44 787
原创 大厂咋做多系统数据同步方案的?
需求数据源都是MySQL,所以先考虑选择组件对MySQL数据变动做实时监听,业界成熟方案最熟悉的就是[canal],功能完善度,社区活跃度,稳定性等都符合。所以,基于canal对方案三优化,以满足多系统数据同步,达到业务解耦、可复用、可扩展。
2024-01-24 15:50:12 614
原创 别再混淆事件源(Event Sourcing)和消息流(Message Streaming)了!
Kafka 不适合事件溯源,Kafka适合消息流。这两种事物需要不同存储机制。事件溯源(Event Sourcing),需DB充当事件日志,为事件溯源存储的事件必须以某种方式编写,以便将来的读取能够快速组装属于单个聚合的较小(更小的)事件流最初发射它们的。这需要随机访问索引消息流(Message Streaming),需要的存储本质上是个记录消息元素的“flat file”。消息元素按序单独写,然后按序读。这需要一个从第一到最后一个的顺序索引。
2024-01-23 10:08:34 605 1
原创 35岁被裁大龄程序员后悔的是啥?
点击下方“JavaEdge”,选择“设为星标”第一时间关注技术干货!职场中,工作之外,还经营自己的副业,好像于情于理都不可以?公司里的领导也会经常强调,不能搞副业,一旦抓住,直接开除!我们不经要问1 这种规定真的合理吗?如今就业艰难,人民各行各业都不容乐观,特别互联网行业,大家都以稳为主。很多二线城市就业的方向基本就是销售,卖车,卖房,卖家具等,真正与专业相关的行业招人也比较少了。职场年纪越大,...
2024-01-21 18:31:00 1133 1
原创 再见了RDM,Redis官方GUI才是最好的!
直观高效的 Redis GUI 管理工具,它可以对 Redis 的内存、连接数、命中率以及正常运行时间进行监控,并且可以在界面上使用 CLI 和连接的 Redis 进行交互(RedisInsight 内置对 Redis 模块支持),官方下载地址。使用 Redis 或 Redis Stack 进行开发时,将您的生产力提升到一个新的水平!使用 RedisInsight 可视化和优化 Redis 数据。
2024-01-18 23:00:06 636
原创 大厂交易系统从0到1(01)-一笔交易到底涉及多少张表?
退款逻辑,1个业务单号--关联多个支付单号--也关联多个退款单号?退款单号,关联优惠券返还的,也可在退款单列表关联吗?返还比例多少,是在优惠券系统设置?整个交易、支付、清结算、账务体系杂糅,会产生很多单据、单号。再考虑正向、逆向,他们的关系更复杂。本文就来搞定订单、账单、支付记录、支付单、支付请求、卡消费记录、券核销记录等单据,他们在交易正、逆向中是如何联系的,又有怎么样的数据关系。
2024-01-18 13:28:38 1071
Spring基础讲义-java 入门必备
2022-11-05
南邮Windows编程课件
2017-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人