架构设计
文章平均质量分 83
oo寻梦in记
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Apache Fluss 深度解析:面向实时分析与 AI 的流式存储层
Apache Fluss 的核心价值可以概括为一句话:把实时数据从“流消息”提升为“可更新、可查询、可分析、可入湖的流式表”。它通过 LogStore 提供低延迟顺序日志,通过 KvStore 提供主键状态和点查,通过 Arrow/COMPACTED 格式优化不同读取模式,通过 changelog/binlog 虚拟表保留变化历史,通过 remote storage 和 lakehouse tiering 平衡实时性、成本和历史分析。原创 2026-06-26 16:10:19 · 299 阅读 · 0 评论 -
【架构】-- Mysql delete vs truncate 深度解析
MySQL中DELETE与TRUNCATE的核心区别在于:DELETE是DML操作,逐行删除并记录日志,支持WHERE条件和事务回滚,但执行速度慢;TRUNCATE是DDL操作,直接清空表并重置自增ID,执行速度快但不可回滚且会锁表。生产环境中,小数据量推荐使用DELETE,大数据量建议采用TRUNCATE或分区表操作。不同数据库(如PostgreSQL、StarRocks)的实现也存在差异,需根据具体场景选择合适的数据清理方式。原创 2026-05-19 11:21:37 · 773 阅读 · 0 评论 -
【DB9.ai】- 面向 AI Agent 的无服务器 PostgreSQL
摘要:DB9是一款专为AI Agent设计的无服务器PostgreSQL数据库,通过内置扩展能力(文件操作、向量检索、HTTP调用等)简化Agent开发。其核心架构采用控制面/数据面分离设计,基于TiKV实现多租户隔离。支持CLI、TypeScript SDK和Agent一键接入三种使用方式,适用于个人助手、RAG知识库、自动化报表等场景。需注意TLS连接、事务兼容性及文件限额等限制,适合追求统一后端、减少微服务的团队。原创 2026-03-24 11:57:26 · 945 阅读 · 0 评论 -
【Auron】-- 让 Spark SQL/DataFrame 跑得更快
部分会回退到 JVM 执行,仍可运行,但需关注回退比例与热点。原创 2026-03-11 10:01:32 · 852 阅读 · 0 评论 -
【架构】-- Keploy:让真实流量自动生成测试用例的开发者神器
Keploy是一款开源的后端测试工具,能自动将真实API流量转换为可重复执行的测试用例。它通过无侵入的网络层捕获技术,记录API调用、数据库查询和消息队列交互,并生成测试套件和数据模拟。核心优势包括多语言兼容、基础设施虚拟化、CI/CD集成,以及自动提升测试覆盖率。Keploy特别适合需要高效生成集成测试、减少环境依赖的开发团队,能显著节省测试编写时间,提高应用质量。原创 2026-01-09 11:21:12 · 989 阅读 · 0 评论 -
【架构】-- HTTP 响应状态码详解
HTTP响应状态码详解摘要 HTTP状态码是服务器对请求处理结果的标准化反馈,分为五大类: 信息响应(100-199):临时响应,表示请求接收中 成功响应(200-299):请求已成功处理 重定向(300-399):需要进一步操作完成请求 客户端错误(400-499):请求语法错误或无法完成 服务端错误(500-599):服务器处理请求时出错 常见状态码包括200(成功)、404(未找到)、500(服务器错误)等。状态码选择应遵循RESTful规范,错误响应建议包含状态码、错误类型和描述信息。最佳实践包括合原创 2025-12-23 10:12:46 · 2146 阅读 · 0 评论 -
【CVE-Fix】-- CVE-2025-66478 (React 2 Shell RCE) 漏洞修复指南
本文介绍了CVE-2025-66478(React2ShellRCE)漏洞的修复指南,这是一个影响React Server Components和Next.js应用的严重远程代码执行漏洞。主要内容包括:漏洞背景及影响范围、官方修复工具fix-react2shell-next的功能介绍、详细的使用方法和修复流程,以及相关安全建议。该工具支持自动扫描项目依赖、智能升级到安全版本,并提供多种运行模式,特别适合monorepo架构项目。文章强调及时修复的重要性,并提供了从检测到验证的完整修复流程,帮助开发者快速消除原创 2025-12-09 11:00:04 · 1822 阅读 · 0 评论 -
【架构】-- OpenFeign:声明式 HTTP 客户端框架深度解析
OpenFeign是一个声明式HTTP客户端框架,通过在Java接口中使用注解来定义HTTP请求,大幅简化了微服务间通信的开发工作。其核心特性包括声明式编程、丰富的注解支持、拦截器机制、编解码器自定义、完善的错误处理及详细的请求/响应日志记录。OpenFeign与Spring Cloud深度集成,支持服务发现、负载均衡、断路器等功能,同时提供连接池配置、请求压缩等性能优化方案。开发者可以快速上手并通过自定义编解码器、超时处理等进阶功能满足复杂业务需求,是现代化微服务架构中的理想HTTP客户端选择。原创 2025-10-29 10:44:06 · 1562 阅读 · 0 评论 -
【架构】-- Nightingale:云原生监控告警平台的深度解析
Nightingale是一款专注于告警管理的开源云原生监控平台,由滴滴团队开发并捐赠给中国计算机学会。核心特性包括多数据源支持(Prometheus、ElasticSearch等)、专业告警管理(降噪、升级、自愈)、业务分组与权限管理。采用Go语言开发,支持Docker快速部署,特别适合企业级监控和边缘计算场景。与Grafana相比,更强调告警能力而非可视化。项目在GitHub上获得12.5k+星标,持续更新中,是云原生监控领域的专业解决方案。原创 2025-10-24 18:35:54 · 1292 阅读 · 0 评论 -
【架构】-- bytebase 项目分析
摘要: Bytebase是一款开源的数据库DevSecOps平台,整合了数据库CI/CD、安全合规与团队协作功能,支持PostgreSQL、MySQL等主流数据库。其核心优势包括GitOps集成、自动化迁移、SQL审查、数据脱敏及RBAC权限管理,适用于开发团队、DBA和安全团队。通过统一管理界面和API支持,Bytebase解决了传统工具分散、低效的问题,被CNCF收录为云原生关键项目。部署灵活(Docker/Kubernetes),社区活跃(GitHub 13k+ Stars),是企业实现数据库现代化管原创 2025-10-24 18:28:38 · 1461 阅读 · 0 评论 -
【Kubernetes】-- 网络的新兴解决方案
《KubeDoor:Kubernetes网络新方案深度解析》摘要 KubeDoor是CassInfra团队开发的Kubernetes CNI插件,针对传统网络方案的性能瓶颈和配置复杂性提供创新解决方案。项目采用overlay网络架构,包含数据平面智能路由和控制平面网络控制器两大核心组件,具备Pod网络隔离、服务发现、多云支持等特性。技术优势体现在三方面:性能上通过零拷贝和DPDK实现低延迟高吞吐;易用性提供声明式配置和自动化运维;生态兼容Kubernetes标准及主流云平台。典型应用场景覆盖微服务架构、边缘原创 2025-10-23 17:11:35 · 768 阅读 · 0 评论 -
【架构】-- Apache Beam 项目介绍
Apache Beam是一个统一的批流处理编程模型,支持Java、Python等多种语言,允许开发者编写一套代码适配多种执行引擎(如Flink、Spark等)。其核心优势在于批流一体的统一API、跨引擎可移植性以及对事件时间语义的完善支持。Beam采用PCollection、PTransform等抽象概念构建数据处理流程,提供丰富的窗口、触发器机制,并拥有广泛的IO连接器生态。典型应用场景包括实时日志分析、物联网数据处理、ETL批处理等。虽然不同执行引擎对高级特性的支持存在差异,但Beam通过解耦业务逻辑与原创 2025-10-21 10:25:41 · 685 阅读 · 0 评论 -
【Kubernetes】-- Gonzo 之 Go 基于 TUI 的日志分析工具
Gonzo是一款基于Go语言的TUI日志分析工具,支持本地文件、云日志服务和OpenTelemetry等多种日志源。具有实时分析、交互式仪表盘、AI增强洞察(兼容OpenAI/Ollama等模型)等特性,提供11+主题皮肤和K9s集成。安装方式包括Go安装、Homebrew或直接下载二进制文件,支持Shell补全和环境变量配置。项目采用MIT许可证,架构清晰,包含日志分析引擎、AI接入等模块,适合开发运维人员在终端高效处理日志。原创 2025-09-19 22:00:06 · 1396 阅读 · 0 评论 -
【Java】-- rjvm 项目分析
用 Rust 编写的迷你 Java 虚拟机(以学习/教学为主): 以 Java 7 为主(以仓库 README 为准)原创 2025-09-18 18:37:11 · 1166 阅读 · 0 评论 -
【运维】-- 前端会话回放与产品分析平台之 openreplay
OpenReplay是一款开源自托管的前端会话回放与分析平台,核心功能包括用户行为回放、技术上下文采集(网络请求、JS错误等)和实时协作。采用Monorepo结构,主要技术栈为TypeScript(49%)和Python(18%)。支持多种部署方式,具有丰富的插件生态和隐私保护功能,适用于复杂前端应用的故障排查和用户行为分析。优势在于数据主权可控、采集效率高,但需注意自托管成本和隐私策略配置。建议先小范围试点,逐步集成现有监控系统并制定数据管理策略。原创 2025-09-12 10:27:51 · 1607 阅读 · 0 评论 -
【 运维相关】-- HTTP 压测/负载发生器之新秀 oha
oha是一款基于Rust开发的轻量级HTTP压力测试工具,具有跨平台、低开销的特点。它支持高并发连接、多种测试模式(固定持续时间/请求数)、RPS限速发压等功能,提供终端可视化输出和JSON格式结果。工具可通过多种方式安装,支持GET/POST等HTTP方法,可自定义请求头和请求体,并允许跳过TLS校验。与wrk、hey等工具相比,oha在限速发压、TUI展示和现代协议支持方面更具优势。最佳实践建议采用持续时间模式,合理设置并发与RPS,注意预热和稳定期,并保存JSON结果用于性能回归对比。适用于本地快速压原创 2025-09-10 12:12:24 · 1112 阅读 · 0 评论 -
【架构】-- StarRocks 和 Doris 介绍与选型建议
查询性能 | ✅ 高性能,支持向量化执行和 CBO 优化器 | ✅ 高性能,优化的查询引擎 |- **实时性要求高**:如果业务对数据的实时性要求较高,建议选择 **StarRocks**,其在实时数据处理和低延迟查询方面表现优越。- **复杂查询需求**:对于需要处理复杂多表关联查询的场景,两者均可胜任,需根据具体性能测试结果进行选择。原创 2025-04-21 16:50:54 · 1828 阅读 · 0 评论 -
【Github每日推荐】-- 2024 年项目汇总
github 2024年每日推荐原创 2025-02-18 10:31:12 · 5587 阅读 · 0 评论 -
【对象存储】-- s3:\\、s3n:\\、s3a:\\ 简介
是访问 Amazon S3 的不同文件系统实现方式。在 Hadoop 和大数据处理领域,原创 2025-01-09 19:36:52 · 1996 阅读 · 0 评论 -
【对象存储】-- OSS、S3、OBS 和 COS 对比
国内业务:腾讯云 COS 和阿里云 OSS 更加适合,性价比高,区域内性能更优。国际化业务:亚马逊 S3 是最佳选择,拥有最强的全球覆盖和可靠性。冷数据归档:华为云 OBS 的归档存储更具价格优势。多云策略:阿里云 OSS 和 AWS S3 通常作为组合搭配使用,国内外市场兼顾。用户可以根据自己的预算、目标市场和业务需求选择合适的对象存储服务。原创 2025-01-09 16:04:34 · 8454 阅读 · 0 评论 -
【Java】-- 常用需要转义的特殊字符
例如, ‘n’ 匹配字符 ‘n’。序列 ‘\\’ 匹配 “\”,而 ‘\(‘ 则匹配 “(”。匹配输入字符串的开始位置,除非在方括号表达式中使用,此时它表示不接受该字符集合。要匹配 ^ 字符本身,请使用 \^。要匹配(字符,请使用\(。匹配前面的子表达式零次或一次,或指明一个非贪婪限定符。:匹配除换行符 \n之外的任何单字符。要匹配 .,请使用 \.。要匹配 * 字符,请使用 \*。要匹配 + 字符,请使用 \+。要匹配 [,请使用 \[。要匹配 {,请使用 {。要匹配 |,请使用 |。原创 2024-12-13 16:57:48 · 447 阅读 · 0 评论 -
【架构设计】-- aarch(ARM) and X86
名称ARMx86构建RISCCISC电源效率⼀般来说更省电通常功率效率较低指令流⽔线较多较少指令系统精简指令集复杂指令集市场占有率在移动设备和物联⽹领域占据主导地位。在台式机、笔记本电脑和服务器市场占据主导地位指令译码指令解码很容易处理解码以复杂的⽅式处理指令执⾏速度更快的指令执⾏减少了时间执⾏时间更⻓指令执⾏效率多条指令从复杂指令⽣成并单独执⾏其架构能够同时管理复杂的语句执⾏处理器操作管理编译器在管理操作中起着⾄关重要的作⽤微程序就完成了这个⼯作。原创 2024-08-23 11:46:08 · 4364 阅读 · 0 评论 -
【架构设计】-- ACK 机制
用于确认接收方是否已经正确接收了发送方发送的数据。这种机制的好处是可以保证数据的可靠传输,防止数据的丢失或重复传输。如果没有ACK机制,就无法确保数据的正确性,可能会导致数据传输的失败或者错误。虽然也可以使用输入输出流来传输数据,但是这种方式无法保证数据的可靠性,因为在网络通信中,数据的传输可能会受到各种干扰和影响,如网络延迟、丢包等。因此,使用ACK机制可以更好地保证数据的可靠传输,提高数据传输的成功率和效率。原创 2024-07-04 17:14:04 · 2696 阅读 · 0 评论 -
【架构设计】-- 什么是向量化引擎?
向量存储引擎是一种新兴的数据存储技术,它以向量为单位进行数据存储和访问。与传统的存储方式(如块存储和文件存储)相比,向量存储引擎具有更高的性能、更低的延迟以及更强大的数据处理能力。向量存储引擎适用于处理各种类型的数据,包括结构化数据、非结构化数据、图像数据和视频数据等。原创 2024-04-02 14:09:53 · 1404 阅读 · 0 评论 -
【数据仓库-5】-- 数据仓库的要求
在设计数据仓库的整体架构时,为了保证数据的安全性,必须要有适当的授权机制去限制访问机密和敏感的数据。(三)、历史可追溯性。原创 2023-03-21 10:45:30 · 485 阅读 · 0 评论 -
【Hive进阶】-- 导出 hive 表数据的几种方式
在日常的工作中,常常会有导出 hive 表数据的需求。在此,我整理了如下几种方式,供大家参考。然后使用 hdfs 命令下载。原创 2023-03-13 14:32:02 · 2517 阅读 · 0 评论 -
[Hive排序]--4种排序方式介绍
一、官方文档https://cwiki.apache.org/confluence/display/Hive/Homehttps://cwiki.apache.org/confluence/display/Hive/LanguageManualhttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy...原创 2017-09-17 18:53:56 · 22554 阅读 · 2 评论 -
[Hive 进阶]-- 7种可以提高 Hive 查询速度的方法
如何提高Hive 的查询性能?Apache Hive是一种强大的数据分析工具。在处理数PB的数据时,了解如何提高查询性能非常重要。以下内容是基于 HDP-2.6.4 版本汇总的,如有不足之处,望指出。1、使用Tez引擎Apache Tez Engine是一个可扩展的框架,用于构建高性能批处理和交互式数据处理。它由YARN在Hadoop中 调度。Tez通过提高处理速度和保持MapRedu...原创 2019-07-17 11:26:36 · 22114 阅读 · 1 评论 -
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
Hive由Facebook开发,用于解决海量结构化日志的数据统计,于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能本质:将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理,它的前身为Shark,在Spark 1.3.0版本后才成长为正式版,可以彻底摆脱之前Shark必须依赖HIVE的局面。原创 2023-03-13 11:46:49 · 3922 阅读 · 2 评论 -
[Hive基础]-- Hive table 的压缩方式和存储格式
一、了解 Hadoop 的压缩方式1.Hadoop 的压缩方式的基本信息压缩格式 扩展名 多文件 支持切片 压缩比排行 解压速度排行 工具 hadoop自带 gzip .gz 否 否 2 3 gzip 是 bzip2 .bz2 是 是 1 4 bzip2 是 lzo .lzo 否 是 3 2 lzop 否 snappy原创 2022-04-06 20:34:29 · 3007 阅读 · 0 评论 -
【大数据架构】-- 开源框架技术汇总
国际:Amazon S3、GCP、Microsoft Azure。国内:阿里云、腾讯云。原创 2022-10-18 17:23:01 · 1888 阅读 · 0 评论 -
【Flink基础】-- Flink Application Mode
但是,该模式下,如果集群中的一个作业行为不正常或导致 TaskManager 宕机,则在该 TaskManager 上运行的所有作业都将受到故障的影响。Application 模式为每个提交的作业创建一个集群,但作业的main()方法将在JobManager上执行,以节省提取job graph所需的CPU周期,也节省客户端下载依赖及将job graph及其依赖关系传送到群集所需的带宽。总之,在 Session 模式下,集群生命周期独立于集群上运行的任何作业,并且集群上运行的所有作业共享集群资源。原创 2022-10-18 14:45:41 · 1665 阅读 · 0 评论 -
[架构设计] -- SQL 还是 NoSQL
1.选取SQL的原因结构化数据 严格的模式 关系型数据 需要复杂的联结操作 事务 清晰的扩展模式 既有资源更丰富:开发者、社区、代码库、工具等 通过索引进行查询非常快2.选取NoSQL的原因半结构化数据 动态或灵活的模式 非关系型数据 不需要复杂的联结操作 存储 TB (甚至 PB)级别的数据 高数据密集的工作负载 IOPS 高吞吐量3.适合 NoSQL 的示例数据埋点数据和日志数据 排行榜或者得分数据 临时数据,如购物车 频繁访问的(“热”)表 元...原创 2022-04-28 18:37:45 · 555 阅读 · 0 评论 -
【架构选型】-- HBase 、MongoDB、Redis和ES的应用场景选择
HBase、MongoDB、ElasitcSearch和Redis都是 NoSql 数据库,各有千秋,应用场景也不同。1 HBase-2008年初始版本1.1 特点容量大 传统关系型数据库,单表不会超过五百万,超过要做分表分库,不会超过30列。 Hbase单表可以有百亿行、百万列,数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。面向列 面向列的存储和权限控制,并支持独立检索,可以动态增加列,即,可单独对列进行各方面的操作 列式存储,其数据在表...原创 2021-06-24 12:04:20 · 3619 阅读 · 0 评论 -
[Redis]-- 作为缓存服务器的配置
详细请参考: https://ruby-china.org/topics/22761redis spring缓存配置详细请参考:http://www.mamicode.com/info-detail-504217.html,点击打开链接转载 2015-12-12 20:41:16 · 1177 阅读 · 0 评论 -
[Ngnix]-- 缓存分级
一、cpu的缓存分级主要有第一级、第二级和第三级(第三极是高级的)二、常用架构中的缓存分级 Nginx 1 JVM 2 redis 3 ...原创 2015-12-20 20:08:12 · 2205 阅读 · 0 评论 -
[架构]-- 优化系统架构性能
一、实行压测通过以下反复循环:压测------>找到瓶颈------>优化压测:(1)确定合理的压测目标 (2)系统性能监控二、优化MongDb(1)使用shard分片(2)降低写入的安全级别 (3)减少更新的字段(主键) (4)优化索引三、storm调优(1)优化参数(2)预汇总注:同一机房部署的原因是...原创 2015-12-20 20:00:56 · 999 阅读 · 0 评论 -
[架构]-- 分布式架构
分布式领域的CAP定理: 指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得详细参考访谈阿里架构:http://www.csdn.net/article/2014-06-27/2820432点击打开链接...转载 2016-01-31 19:05:32 · 846 阅读 · 0 评论 -
[Java web]-- java实现注销登录的2种方式区别
1、servletHttpServletRequest requestHttpSession session=request.getSession();session.removeAttribute("user");session.invalidate() 2、springmvc HttpSession sessionsession.setAttribute...原创 2015-10-09 11:13:39 · 9678 阅读 · 2 评论 -
[架构]-- 高并发与高并行
1、什么是高并发?什么是高并行? Erlang 之父 Joe Armstrong 用一张5岁小孩都能看懂的图解释了并发与并行的区别 并发是两个队列交替使用一台咖啡机,并行是两个队列同时使用两台咖啡机,如果串行,一个队列使用一台咖啡机,后面的人也只能死等着他回来才能去接咖啡,这效率无疑是最低的。知乎上有评论里说,并发是不是一个线程,并行是多个线程?答:并发和并行都可以是...原创 2017-08-01 09:20:41 · 4625 阅读 · 1 评论
分享