王卫东-CSDN博客

转载 DDD（领域驱动设计）

基本概念：　　领域驱动设计(简称 ddd)概念来源于2004年著名建模专家eric evans发表的他最具影响力的书籍:《domain-driven design –tackling complexity in the heart of software》(中文译名：领域驱动设计—软件核心复杂性应对之道)一书。，书中提出了“领域驱动设计(简称 ddd)”的概念。领域驱动设...

2019-07-08 15:25:45 267966 33

其次，我们将实现智能化的建模，通过已维护模型的血缘推断新模型的指标和维度绑定关系，实现语义化的自动建模。我们还将致力于智能化的指标拆解，通过大模型的理解和生产血缘，实现自动化拆解，减轻数仓在指标生产上的负担。此外，基于指标的消费方式还带来了一个优势，在以前的基于表或数据集的洞察分析中，我们只能分析某一维度或字段，例如，当我们分析国家占比时，只能看到指标整体上升时，哪些国家增长最为显著。接入层和公共层的表主要用于绑定原子指标，而应用层和公共层中用于实际取数和消费的表，则绑定指标平台维护的衍生指标。

2024-07-16 20:30:00 15

转载数字化时代的数据管理：多样化数据库选型指南

传统的关系型数据库（RDBMS）以其严格的ACID事务、优秀的一致性和安全性在企业应用中占据了长久的统治地位。然而，随着互联网、大数据和云计算的兴起，非关系型数据库（NoSQL）因其灵活的数据模型、易于水平扩展的特性和优异的处理高并发请求的能力，在特定场景下得到广泛应用。此外，时间序列数据库（TSDB）、图数据库等针对特定类型的数据和查询提供了更加专业的解决方案。除此之外，新型数据库如向量数据库则为机器学习、人工智能和相似性搜索提供了更高效的整体解决方案。本文将探讨9种数据库，涉及各种数据库风格。

2024-07-15 20:15:00 27

原创惊艳眼球的视觉盛宴【二】

当夕阳洒满大地，金色的光辉轻抚过每一寸土地，万物被染上了温暖的色彩。此时，天边的云彩像是画家的调色盘，变幻出无尽的美景。山川在此刻变得柔和，仿佛是古老传说中的仙境，静谧而神秘。轻风拂过，带来了大自然最纯净的气息，让人的心灵得到了彻底的释放和平静。在这一刻，世界仿佛停止了转动，只留下了大自然的宁静与和谐。

2024-07-03 20:08:15 264

原创数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析

本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选型提供指导和建议。

2024-07-03 19:54:43 1625 4

转载结合数据湖的实时数仓架构演进

01 数据湖之前的实时数仓架构1.我们讨论的实时数仓是什么实时数仓是一个解决方案，从期望看是离线数仓，甚至数仓本身的超集；湖仓一体的方案还是数仓方案。我们要讨论的实时数仓是什么？因为实时数仓在很多用户心中的定位不是完全一致的，它跟已经存在了二三十年的数据仓库、离线数据仓库是没有可比性的。首先通过了解资料，可以很明确地知道实时数仓能做什么、不能做什么、怎么做的。其次实时数仓包含一个服务层，里面有很多组件，但是它对于体系内其他岗位是不一样。因为实时数仓和下游数据产品之间的关联比

2024-06-28 19:48:35 22

原创惊艳眼球的视觉盛宴【一】

当镜头聚焦于那片广袤无垠的天空，我们仿佛被带入了一个神秘而壮丽的世界。云朵如同柔软的棉花糖，在阳光的照耀下变幻出各种奇妙的形状；远处的山峦则像是一条蜿蜒的巨龙，静静地守护着这片土地。在这幅摄影大片中，大自然以其独特的魅力和力量，向我们展示了一种宁静而永恒的美。

2024-06-12 20:35:40 141

转载数据湖核心能力解析

1、数据湖发展趋势分析当下，数据湖已成为企业数据平台架构的重要组成部分。传统的数据平台架构一般由数据湖、流式计算和 OLAP 引擎查询三个部分组成：数据湖：由Hadoop搭建的大数据平台承载，负载海量数据存储与批量计算。流式计算：一般由Flink组件承载，负责实时的数据流处理。 OLAP数仓：可选择技术比较多，包括：开源的Doris、StarRocks、Clickhouse等以及传统数仓，负责承载数据查询业务。这三个平台在以往通常是独立建设的，集

2024-06-11 21:00:00 31

原创 idea mac快捷键

将选中的代码进行自动缩进编排，这个功能在编辑 JSP 文件时也可以工作。例如：new String();可以把代码包在一个块内，例如：try/catch。可以将最近使用的剪贴板内容选择插入到文本。高亮显示所有该文本，按 Esc 高亮消失。可以选择单词继而语句继而行继而函数。移动到搜索结果的下/上一匹配处。查找类中的方法或变量。移动光标到前/后单词。选中跳跃范围内的代码。

2024-06-05 22:15:00 653

转载全面的LLM大模型技术知识图谱

迭代工具：评测、标注、持续监控。数据工程、训练数据 batch 选择、训练策略、前向网络计算损失、后向传播计算梯度、分布式并行、数据并行、模型并行、张量并行、流水线并行、3D 并行、accelerate 加速、混合精度、梯度累积通信加速、RLHF、RLAIF、奖励模型、PPO 强化学习模型等。LLMOps 技术：成本估算、模型量化、模型蒸馏、计算图优化、模型编译、硬件优化、效果评估、并行计算、显存优化（ZeRO、ZeRO-Offload、activation checkpoint）、参数高效微调等。

2024-06-03 21:06:03 102

转载 DDD在大众点评交易系统演进中的应用

本文主要涉及境外出行、商场团购和内容商业化等三类交易业务场景。在大众点评App里，在境外城市站有美食、购物、商场、景点、门票、当地玩乐等频道入口，可以购买境外出行交易产品，在境内的逛街/商场频道可以找到商场团购优惠以及商场团购代金券。此外，商家如果有推广需求可以在商家端App（开店宝App）“点星”入口购买达人的创作服务，最终达人交付的笔记，在点评App信息流里进行展示。具体来说，境外出行产品覆盖景点门票、餐厅订座和休闲娱乐；商场团购产品包含普通团单和秒杀团单，适用于商场的优惠活动；

2024-05-14 20:30:00 48

转载 ES模糊查询wildcard的替代方案

例如：min_gram，max_gram配置为5时，quick.brown.fox分词后会产生quick，uick.，ick.b，ck.br，k.bro，.brow，brown，rown.，own.f，wn.fo，n.fox。b.用户输入brown.fox，brown.fox会被分词成brown，rown.，own.f等，此时同样会返回quick.brown.fox。例如quick将会被分词为q，u，i，…a.用户输入quick，brown，k.bro等都能够返回quick.brown.fox。

2024-03-21 21:41:38 956

转载什么是大模型？一文读懂大模型的基本概念

引申到模型层面，涌现能力指的是当模型的训练数据突破一定规模，模型突然涌现出之前小模型所没有的、意料之外的、能够综合分析和解决更深层次问题的复杂能力和特性，展现出类似人类的思维和智能。在探索期，以 Transformer 为代表的全新神经网络架构，奠定了大模型的算法架构基础，使大模型技术的性能得到了显著提升。而当模型的训练数据和参数不断扩大，直到达到一定的临界规模后，其表现出了一些未能预测的、更复杂的能力和特性，模型能够从原始训练数据中自动学习并发现新的、更高层次的特征和模式，这种能力被称为“

2024-03-14 21:18:07 517

转载高德打车稳定性建设

高德打车是高德地图首创的“聚合打车”模式，一键全网叫车，轻松全网比价，让用户打车更快、更省；推出“好的出租”计划，帮助传统巡游出租车数字化升级，帮助出租车司机增加收入。高德打车在运力类型上有网约车、出租车、巡改网、城际拼车等；同时订单类型又有实时单、预约单、代叫单、接送机、市内拼车等；当然在车型和价格上也有一定区分。

2024-03-08 22:15:00 163

转载滴滴业务中台构建实践

滴滴是一家以出行为核心、辐射单车、代驾、车服、金融、国际化等领域的高速发展的科技公司，在各条业务线飞速发展的过程中会存在着很多相同或者类似的业务需求，如何通过技术的手段抽象、沉淀这些业务为通用、稳定基础能力，让各业务线专注于其个性化的部分，快速的推出适合市场的新产品，是业务中台核心价值的体现。滴滴业务中台已经构建了订单中心、计价中心、支付中心、passport、用户中心、触达平台六大能力，高效率、低成本的支持了各条业务线的快速发展。何修峰，就职于滴滴业务中台，任高级技术专家一职，致力于。

2024-02-22 21:01:51 126

转载美菜网交易中台建设

云杉是中国最大的 ToB 生鲜电商美菜网的公司主体，云杉下包括美菜在内的各业务线的急速扩张和更深入的精细化运营，带来了更高的业务复杂度，之前的系统架构已经很难支撑目前多业务多平台的形态，部门的效率也因为系统耦合而大大下降。在业务发展的过程中遇到很多问题，不断的对业务流程和系统架构进行思考，尝试以中台化思维解决问题，并借着2018年底新电商业务线成立之时，推动公司建立中台团队，目前主要负责商品中心和交易中心的架构工作。对电商及周边体系的关系有一个更清晰的认识。对电商交易核心的理解，抓住问题的本质。

2024-02-22 20:59:47 76

转载 Salesforce元数据驱动的多租户架构原理

Salesforce可能是这个世界上最有名的To B领域的公司，市值2500亿美元，凭借着SaaS化的架构理念，并通过依此构建的CRM产品占据CRM 20%的市场，财富500强的公司中，有83%在使用它。公司雇员超过5万人，其业务范围包括财税管理软件、人力资源管理软件、进销存管理软件、客户管理软件、办公自动化软件、企业内即时交流软件等。1999年，Salesforce在美国旧金山成立2001年，推出第一款SaaS应用CRM，同时也受到众多厂商和客户的热议。

2024-02-22 20:51:13 465

转载物流的盈利模式是什么？

中国物流发展到今天，信息化是重要的工具，但物流行业企业间的业务差异化太大，没一家物流软件能够成为行业标准，就连同一个企业面临不同的客户，产品的差异化也巨大，所以说那些把物流软件产品化其实是一件非常困难的事，唯一可能的是软件模块产品化，PASS平台化的服务可能是这种模式的终极。你的站点布局越多，你的盈利就越多。国内几家物流信息化服务商，已经在创新的推出SAAS或类似SAAS的服务平台，在物流IT服务上提供创新的服务的企业，各有各的特色，他们的共同点都是开放的运营平台服务模式，通过用户数来收费。

2023-11-28 21:48:39 1454

转载阿里云大故障后问责机制来了

不过我作为管理者，对我团队做稳定性的同学，始终坚持自己的理念，充分看见这件事背后的辛苦，对他们只会做奖励上的倾斜，相反一些非低级问题导致的故障却不会追责。出一次大故障，从上到下开始各种复盘，纠错，定责，然后再起稳定性战役，领导们以为和营收战役一样，战役包治百病，只要战役一结束，目标达成，这个事情也就成功了结束了。除了有大流量高并发经验的技术同学外，其他人很难理解：稳定性是一个长期持久的事情，只要流量在上涨，客户在增加，业务在丰富，那么稳定性的事情就不会中断。优先提升稳定性意识，做好变更管控、流程规范；

2023-11-24 20:10:49 215

转载从阿里云大故障看稳定性

其实这是最重要的却常常被忽略，栽一棵树最好的时间是十年前，然后是现在，三年后平台的高可用做到什么级别取决于当下上层OKR对它的定位，最容易出现超大故障的时候，常常是自上而下业务非常自嗨的时候，有些高层甚至可能都瞧不起被他们类比成水泥匠的稳定性打工人，认为做好稳定性是应该的，做不好就得挨板子，在这种人浮于事的环境下，要把稳定性坚持做好，需要底下管理者和团队非常强的责任心和使命感，但永远不要忽略人性，再强的责任心也需要现实激励去喂养。故障越大，锅就越不是执行变革的一线同学的，为什么呢？

2023-11-24 20:08:56 158

转载毕玄：稳定性，难的不是技术，而是……

只有把稳定性当成业务的功能实现一样，有相应的人员配备和投入，例如做一个业务可能需要多少人，相应的稳定性这块也固定投入多少人，你说到底多少比例合理呢，其实也说不太清楚，但这种简单粗暴的方式其实是最有效的，当然，是不是要把稳定性上升到这样的高度，也需要根据业务的性质、业务所处的阶段来具体判断，以及有这样的投入的情况下，怎么去评判相应职责的团队也仍然是个很复杂的话题。很多做过稳定性这事的人都知道，做这个事情最麻烦的是很难被认可，做的好，不出问题，不懂的人不知道你做了什么，出了问题的时候觉得你到底做了什么，

2023-11-15 21:15:00 103

转载交易日均千万订单的存储架构设计与实践

在交易日均千万订单背景下，如何保障订单数据基座高扩展、高可用、高吞吐？

2023-09-15 22:00:00 258

原创 ES索引重建reindex详解

ES分片数变更、mapping字段变更、分词规则修改等必须重建索引，此时可通过es本身自带的reindex功能进行数据迁移，支持跨索引、跨集群的数据迁移。

2023-08-09 22:30:00 5479

转载一文搞懂Redis架构演化之路

总结一下，我们是如何从 0 到 1，再从 1 到 N 构建一个稳定、高性能的 Redis 集群的，从这之中你可以清晰地看到 Redis 架构演进的整个过程。数据怕丢失：持久化（RDB/AOF）主从副本（副本随时可切）故障手动切换慢：哨兵集群（自动切换）读存在压力：扩容副本（读写分离）写存在压力/容量瓶颈：分片集群分片集群社区方案：Twemproxy、Codis（Redis 节点之间无通信，需要部署哨兵，可横向扩容）分片集群官方方案。

2023-07-25 22:01:11 119

转载搞懂异地多活，看这篇就够了

好了，总结一下这篇文章的重点。1、一个好的软件架构，应该遵循高性能、高可用、易扩展 3 大原则，其中「高可用」在系统规模变得越来越大时，变得尤为重要2、系统发生故障并不可怕，能以「最快」的速度恢复，才是高可用追求的目标，异地多活是实现高可用的有效手段3、提升高可用的核心是「冗余」，备份、主从副本、同城灾备、同城双活、两地三中心、异地双活，异地多活都是在做冗余4、同城灾备分为「冷备」和「热备」，冷备只备份数据，不提供服务，热备实时同步数据，并做好随时切换的准备。

2023-07-25 21:58:18 1195

转载 ElasticSearch的segment段合并原理

如果某次合并产生的索引段的大小大于index.merge.policy.max_merged_segment参数值，则该合并策略会选择更少的索引段参与合并，使得生成的索引段的大小小于阈值。比如日志的场景下，日志基本都是按天，周，或者月来索引的，旧索引实质上是只读的，只要过了今天、这周或这个月就基本没有写入操作了，这个时候我们就可以通过 optimize 命令，来强制合并每个shard上索引只有一个segment，这样既可以节省资源，也可以大大提升查询性能。否则启动跟 CPU 核数的一半相等的线程数。

2023-07-25 21:51:39 540

ajaxfileupload修复文件

修复版ajaxfileupload

ez_setup.py

tomcat-redis-session-manager-1.2.jar包

tomcat+redis实现session共享

凡人网购物系统

DIV+CSS学习

空空如也