- 博客(600)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 惊艳眼球的视觉盛宴【一】
当镜头聚焦于那片广袤无垠的天空，我们仿佛被带入了一个神秘而壮丽的世界。云朵如同柔软的棉花糖，在阳光的照耀下变幻出各种奇妙的形状；远处的山峦则像是一条蜿蜒的巨龙，静静地守护着这片土地。在这幅摄影大片中，大自然以其独特的魅力和力量，向我们展示了一种宁静而永恒的美。
2024-06-12 20:35:40
691
转载 数据湖核心能力解析
1、数据湖发展趋势分析当下，数据湖已成为企业数据平台架构的重要组成部分。传统的数据平台架构一般由数据湖、流式计算和 OLAP 引擎查询三个部分组成： 数据湖：由Hadoop搭建的大数据平台承载，负载海量数据存储与批量计算。 流式计算：一般由Flink组件承载，负责实时的数据流处理。 OLAP数仓：可选择技术比较多，包括：开源的Doris、StarRocks、Clickhouse等以及传统数仓，负责承载数据查询业务。 这三个平台在以往通常是独立建设的，集
2024-06-11 21:00:00
95
原创 idea mac快捷键
将选中的代码进行自动缩进编排，这个功能在编辑 JSP 文件时也可以工作。例如：new String();可以把代码包在一个块内，例如：try/catch。可以将最近使用的剪贴板内容选择插入到文本。高亮显示所有该文本，按 Esc 高亮消失。可以选择单词继而语句继而行继而函数。移动到搜索结果的下/上一匹配处。查找类中的方法或变量。移动光标到前/后单词。选中跳跃范围内的代码。
2024-06-05 22:15:00
1361
转载 全面的LLM大模型技术知识图谱
迭代工具：评测、标注、持续监控。数据工程、训练数据 batch 选择、训练策略、前向网络计算损失、后向传播计算梯度、分布式并行、数据并行、模型并行、张量并行、流水线并行、3D 并行、accelerate 加速、混合精度、梯度累积通信加速、RLHF、RLAIF、奖励模型、PPO 强化学习模型等。LLMOps 技术：成本估算、模型量化、模型蒸馏、计算图优化、模型编译、硬件优化、效果评估、并行计算、显存优化（ZeRO、ZeRO-Offload、activation checkpoint）、参数高效微调等。
2024-06-03 21:06:03
260
转载 DDD在大众点评交易系统演进中的应用
本文主要涉及境外出行、商场团购和内容商业化等三类交易业务场景。在大众点评App里，在境外城市站有美食、购物、商场、景点、门票、当地玩乐等频道入口，可以购买境外出行交易产品，在境内的逛街/商场频道可以找到商场团购优惠以及商场团购代金券。此外，商家如果有推广需求可以在商家端App（开店宝App）“点星”入口购买达人的创作服务，最终达人交付的笔记，在点评App信息流里进行展示。具体来说，境外出行产品覆盖景点门票、餐厅订座和休闲娱乐；商场团购产品包含普通团单和秒杀团单，适用于商场的优惠活动；
2024-05-14 20:30:00
100
转载 ES模糊查询wildcard的替代方案
例如：min_gram，max_gram配置为5时，quick.brown.fox分词后会产生quick，uick.，ick.b，ck.br，k.bro，.brow，brown，rown.，own.f，wn.fo，n.fox。b.用户输入brown.fox，brown.fox会被分词成brown，rown.，own.f等，此时同样会返回quick.brown.fox。例如quick将会被分词为q，u，i，…a.用户输入quick，brown，k.bro等都能够返回quick.brown.fox。
2024-03-21 21:41:38
1429
转载 什么是大模型？一文读懂大模型的基本概念
引申到模型层面，涌现能力指的是当模型的训练数据突破一定规模，模型突然涌现出之前小模型所没有的、意料之外的、能够综合分析和解决更深层次问题的复杂能力和特性，展现出类似人类的思维和智能。在探索期，以 Transformer 为代表的全新神经网络架构，奠定了大模型的算法架构基础，使大模型技术的性能得到了显著提升。而当模型的训练数据和参数不断扩大，直到达到一定的临界规模后，其表现出了一些未能预测的、更复杂的能力和特性，模型能够从原始训练数据中自动学习并发现新的、更高层次的特征和模式，这种能力被称为“
2024-03-14 21:18:07
824
转载 高德打车稳定性建设
高德打车是高德地图首创的“聚合打车”模式，一键全网叫车，轻松全网比价，让用户打车更快、更省；推出“好的出租”计划，帮助传统巡游出租车数字化升级，帮助出租车司机增加收入。高德打车在运力类型上有网约车、出租车、巡改网、城际拼车等；同时订单类型又有实时单、预约单、代叫单、接送机、市内拼车等；当然在车型和价格上也有一定区分。
2024-03-08 22:15:00
230
转载 滴滴业务中台构建实践
滴滴是一家以出行为核心、辐射单车、代驾、车服、金融、国际化等领域的高速发展的科技公司，在各条业务线飞速发展的过程中会存在着很多相同或者类似的业务需求，如何通过技术的手段抽象、沉淀这些业务为通用、稳定基础能力，让各业务线专注于其个性化的部分，快速的推出适合市场的新产品，是业务中台核心价值的体现。滴滴业务中台已经构建了订单中心、计价中心、支付中心、passport、用户中心、触达平台六大能力，高效率、低成本的支持了各条业务线的快速发展。何修峰，就职于滴滴业务中台，任高级技术专家一职，致力于。
2024-02-22 21:01:51
188
转载 美菜网交易中台建设
云杉是中国最大的 ToB 生鲜电商美菜网的公司主体，云杉下包括美菜在内的各业务线的急速扩张和更深入的精细化运营，带来了更高的业务复杂度，之前的系统架构已经很难支撑目前多业务多平台的形态，部门的效率也因为系统耦合而大大下降。在业务发展的过程中遇到很多问题，不断的对业务流程和系统架构进行思考，尝试以中台化思维解决问题，并借着2018年底新电商业务线成立之时，推动公司建立中台团队，目前主要负责商品中心和交易中心的架构工作。对电商及周边体系的关系有一个更清晰的认识。对电商交易核心的理解，抓住问题的本质。
2024-02-22 20:59:47
117
转载 Salesforce元数据驱动的多租户架构原理
Salesforce可能是这个世界上最有名的To B领域的公司，市值2500亿美元，凭借着SaaS化的架构理念，并通过依此构建的CRM产品占据CRM 20%的市场，财富500强的公司中，有83%在使用它。公司雇员超过5万人，其业务范围包括财税管理软件、人力资源管理软件、进销存管理软件、客户管理软件、办公自动化软件、企业内即时交流软件等。1999年，Salesforce在美国旧金山成立2001年，推出第一款SaaS应用CRM，同时也受到众多厂商和客户的热议。
2024-02-22 20:51:13
846
1
转载 物流的盈利模式是什么？
中国物流发展到今天，信息化是重要的工具，但物流行业企业间的业务差异化太大，没一家物流软件能够成为行业标准，就连同一个企业面临不同的客户，产品的差异化也巨大，所以说那些把物流软件产品化其实是一件非常困难的事，唯一可能的是软件模块产品化，PASS平台化的服务可能是这种模式的终极。你的站点布局越多，你的盈利就越多。国内几家物流信息化服务商，已经在创新的推出SAAS或类似SAAS的服务平台，在物流IT服务上提供创新的服务的企业，各有各的特色，他们的共同点都是开放的运营平台服务模式，通过用户数来收费。
2023-11-28 21:48:39
1789
转载 阿里云大故障后问责机制来了
不过我作为管理者，对我团队做稳定性的同学，始终坚持自己的理念，充分看见这件事背后的辛苦，对他们只会做奖励上的倾斜，相反一些非低级问题导致的故障却不会追责。出一次大故障，从上到下开始各种复盘，纠错，定责，然后再起稳定性战役，领导们以为和营收战役一样，战役包治百病，只要战役一结束，目标达成，这个事情也就成功了结束了。除了有大流量高并发经验的技术同学外，其他人很难理解：稳定性是一个长期持久的事情，只要流量在上涨，客户在增加，业务在丰富，那么稳定性的事情就不会中断。优先提升稳定性意识，做好变更管控、流程规范；
2023-11-24 20:10:49
265
转载 从阿里云大故障看稳定性
其实这是最重要的却常常被忽略，栽一棵树最好的时间是十年前，然后是现在，三年后平台的高可用做到什么级别取决于当下上层OKR对它的定位，最容易出现超大故障的时候，常常是自上而下业务非常自嗨的时候，有些高层甚至可能都瞧不起被他们类比成水泥匠的稳定性打工人，认为做好稳定性是应该的，做不好就得挨板子，在这种人浮于事的环境下，要把稳定性坚持做好，需要底下管理者和团队非常强的责任心和使命感，但永远不要忽略人性，再强的责任心也需要现实激励去喂养。故障越大，锅就越不是执行变革的一线同学的，为什么呢？
2023-11-24 20:08:56
192
转载 毕玄：稳定性，难的不是技术，而是……
只有把稳定性当成业务的功能实现一样，有相应的人员配备和投入，例如做一个业务可能需要多少人，相应的稳定性这块也固定投入多少人，你说到底多少比例合理呢，其实也说不太清楚，但这种简单粗暴的方式其实是最有效的，当然，是不是要把稳定性上升到这样的高度，也需要根据业务的性质、业务所处的阶段来具体判断，以及有这样的投入的情况下，怎么去评判相应职责的团队也仍然是个很复杂的话题。很多做过稳定性这事的人都知道，做这个事情最麻烦的是很难被认可，做的好，不出问题，不懂的人不知道你做了什么，出了问题的时候觉得你到底做了什么，
2023-11-15 21:15:00
137
原创 ES索引重建reindex详解
ES分片数变更、mapping字段变更、分词规则修改等必须重建索引，此时可通过es本身自带的reindex功能进行数据迁移，支持跨索引、跨集群的数据迁移。
2023-08-09 22:30:00
7494
转载 一文搞懂Redis架构演化之路
总结一下，我们是如何从 0 到 1，再从 1 到 N 构建一个稳定、高性能的 Redis 集群的，从这之中你可以清晰地看到 Redis 架构演进的整个过程。数据怕丢失：持久化（RDB/AOF）主从副本（副本随时可切）故障手动切换慢：哨兵集群（自动切换）读存在压力：扩容副本（读写分离）写存在压力/容量瓶颈：分片集群分片集群社区方案：Twemproxy、Codis（Redis 节点之间无通信，需要部署哨兵，可横向扩容）分片集群官方方案。
2023-07-25 22:01:11
141
转载 搞懂异地多活，看这篇就够了
在软件开发领域，「异地多活」是分布式系统架构设计的一座高峰，很多人经常听过它，但很少人理解其中的原理。异地多活到底是什么？为什么需要异地多活？它到底解决了什么问题？究竟是怎么解决的？这些疑问，想必是每个程序看到异地多活这个名词时，都想要搞明白的问题。有幸，我曾经深度参与过一个中等互联网公司，建设异地多活系统的设计与实施过程。所以今天，我就来和你聊一聊异地多活背后的的实现原理。认真读完这篇文章，我相信你会对异地多活架构，有更加深刻的理解。
2023-07-25 21:58:18
1467
原创 ElasticSearch的segment段合并原理
Elasticsearch索引(elasticsearch index)由一个或者若干分片(shard)组成，分片(shard)通过副本(replica)来实现高可用。一个分片(share)其实就是一个Lucene索引(lucene index)，一个Lucene索引(lucene index)又由一个或者若干段(segment)组成。所以，当我们查询一个Elasticsearch索引时，查询会在所有分片上执行，既而到段(segment)，然后合并所有结果。
2023-07-25 21:51:39
719
转载 京东 App 秒级百 G 日志传输存储架构设计与实战
我们可以简单的做一些对比，主要在于硬件成本和软件性能的对比。从上文可知，磁盘的占用原始方案占用了磁盘（1 份），MQ（2 份），数据库（1 份）。而在新的方案中，磁盘的占用仅剩下 clickhouse 的（0.8 份），clickhouse 自身又对数据做了压缩，实际占用空间不到入库容量的 80%。那么仅磁盘即可节省 75% 以上的存储成本。大家都知道，秒级的吞吐量，是伴随着服务器 Cpu 的耗费的，并不是说只给个大硬盘，即可一台服务器每秒吞吐 1 个 G 的。
2023-07-25 21:44:20
223
转载 【Flink SQL】大家都用 cumulate window 计算累计指标啦
如官网文档所示，介绍 cumulate window 的第一句话就是 cumulate window 非常适合于之前使用 tumble window + early-fire 的场景。可以说 cumulate window 就是在用户计算周期内累计 PV，UV 指标时，使用了 tumble window + early-fire 后发现这种方案存在了很多坑的情况下，而诞生的！
2023-04-12 22:18:42
2813
3
转载 [白话解析] Flink的Watermark机制
对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。
2023-04-12 21:59:25
661
转载 谁是 JDK8 中最快的 GC
我们都知道 OpenJDK8 有好几个垃圾回收算法，比如 ParallelGC，CMS，还有 G1，那么哪个才是最快的？如果 GC 算法从 Java8 中默认的 ParallelGC 切换到 G1 会发生什么（JDK9 就是把默认 GC 从 ParallelGC 切到了 G1）？
2023-04-12 21:53:04
743
转载 通用流程编排组件JDEasyFlow介绍
JDEasyFlow是京东企业金融研发部自研的通用流程编排技术组件，适用于服务编排、工作流、审批流等场景，该组件已开源(https://github.com/JDEasyFlow/jd-easyflow)，目前在部门的内部业务系统和科技输出系统中广泛应用，其他部门也有使用。
2023-04-12 21:33:45
1048
原创 ES高级操作手册
当ES扩容缩容时，若分片太大，分片初始化会很慢，此时可选择修改ES配置加快recovery速度。若是生产环境ES在对外提供服务，es默认配置可能导致对外服务抖动，也可以通过修改配置降低recovery速度。es默认限制了并行恢复的数量，速度等。
2022-10-22 19:45:00
2320
转载 分布式系统的SLA如何定义
SLA（Service-Level Agreement）服务等级协议，是指系统服务提供者（Provider）对客户（Customer）的一个可量化的服务承诺，常见于大型分布式系统中，用于衡量系统服务是否稳定健康的常见方法。
2022-10-18 20:15:00
2268
1
转载 99.999%，提升ElasticSearch稳定性的秘密
ElasticSearch 是一个分布式的开源搜索和分析引擎，因其功能强大、简单易用而被应用到很多业务场景。在生产环境使用 ES 时，如果未进行优化则服务的稳定性可能得不到保障，目前我们使用 ES 作为账单平台的基础组件为微信支付提供服务时就遇到这种问题。本文即从当前的业务场景出发，分析 ES 稳定性未到达要求的原因并提供相应的解决思路。
2022-10-11 20:00:00
351
转载 Elasticsearch 在地理信息空间索引的探索和演进
LBS服务是当前互联网重要的一环，涉及餐饮、娱乐、打车、零售等场景。在这些场景中，有很重要的一项基础能力：搜索附近的POI。比如搜索附近的美食，搜索附近的电影院，搜索附近的专车，搜索附近的门店。
2022-10-11 19:45:00
513
转载 TiDB最佳实践
数据库是一个通用的基础组件，在开发过程中会考虑到多种目标场景，在具体的业务场景中，需要根据业务的实际情况对数据的参数或者使用方式进行调整。TiDB 是一个兼容 MySQL 协议和语法的分布式数据库，但是由于其内部实现，特别是支持分布式存储以及分布式事务，使得一些使用方法和 MySQL 有所区别。
2022-09-30 21:30:00
577
转载 三篇文章了解 TiDB 技术内幕 - 谈调度（三）
整个系统是在动态变化，Region 分裂、节点加入、节点失效、访问热点变化等情况会不断发生，整个调度系统也需要在动态中不断向最优状态前进，如果没有一个掌握全局信息，可以对全局进行调度，并且可以配置的组件，就很难满足这些需求。因此我们需要一个中心节点，来对系统的整体状况进行把控和调整，所以有了 PD 这个模块。
2022-09-30 21:00:00
251
转载 三篇文章了解 TiDB 技术内幕 - 说存储（一）
很多人用过数据库，但是很少有人实现过一个数据库，特别是实现一个分布式数据库。了解数据库的实现原理和细节，一方面可以提高个人技术，对构建其他系统有帮助，另一方面也有利于用好数据库。
2022-09-30 20:30:00
275
转载 海量 Region 集群调优最佳实践
在 TiDB 的架构中，所有数据以一定 key range 被切分成若干 Region 分布在多个 TiKV 实例上。随着数据的写入，一个集群中会产生上百万个甚至千万个 Region。单个 TiKV 实例上产生过多的 Region 会给集群带来较大的负担，影响整个集群的性能表现。本文将介绍 TiKV 核心模块 Raftstore 的工作流程，海量 Region 导致性能问题的原因，以及优化性能的方法。
2022-09-29 22:00:00
217
转载 TiDB 高并发写入场景最佳实践
在 TiDB 的使用过程中，一个典型场景是高并发批量写入数据到 TiDB。本文阐述了该场景中的常见问题，旨在给出一个业务的最佳实践，帮助读者避免因使用 TiDB 不当而影响业务开发。
2022-09-29 21:45:00
566
企业TT架构转型之道：阿里巴巴中台战略思想与架构实战
2024-08-08
修复版ajaxfileupload
2017-08-09
tomcat+redis实现session共享
2015-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人