- 博客(1553)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 hudi学习3：yarn使用
摘要（≤150字）： 本文以“四层钻取”为主线，从 YARN 主页面（RM:8088）到 Spark UI，系统梳理大数据任务排查路径：集群状态 → 任务详情 → Job/Stage → Task/Executors。结合真实案例与速查口诀，详解资源分配、任务卡顿、数据倾斜、小文件等问题的定位方法，辅以 Mermaid 流程图与决策树，助开发者快速定位瓶颈，提升调优效率。
2026-10-15 16:40:44
327
原创 doris学习6：参数调优exec_mem_limit、parallel_fragment_exec_instance_num
<think>我们要求根据内容生成≤150字的文章摘要。需要提炼核心：Doris配置查看与调优，SHOW VARIABLES实战指南。摘要应涵盖主要点：查看命令、核心参数、修改方式、建议、参数速览。字数严格≤150字。我们组织语言。</think>Doris资源调优实战指南：用SHOW VARIABLES查看SQL内存、并行度等核心变量，通过会话级、全局级或SET_VAR查询级三种方式调整exec_mem_limit与parallel_fragment_exec_instance_n
2026-09-05 09:33:59
374
原创 doris学习5：物化视图MATERIALIZED VIEW
<think>我们根据要求生成一个≤150字的文章摘要。内容是关于Doris物化视图实战指南，需概括核心概念、类型、特点和应用要点。要控制字数。写一个简洁摘要。</think>Doris提供同步（实时单表聚合）与异步（多表JOIN复杂查询，定期刷新）两类物化视图，均可透明改写加速SQL。同步适合强一致聚合，异步支持手动/定时/分区增量刷新。需验证命中，避免基表频繁更新，配置独立资源组，并监控维护。核心原则：先测试、避免重复、持续运维。
2026-09-03 10:48:15
330
原创 hudi学习2：索引机制
Hudi索引技术选型指南 本文系统介绍了Apache Hudi的四种核心索引技术及其适用场景： BloomFilterIndex（默认）：基于概率判断的高效索引，通过bit数组和哈希函数实现O(1)查询，默认1%误判率，适合大多数主键/范围查询场景。 HBaseIndex：依赖外部HBase存储精准映射，适合数据量大且要求零误判的精确查询，但维护成本较高。 BucketIndex：采用分桶策略缩小索引范围，特别适合TB级超大表，需预先设计分桶键。 二级索引：支持多字段索引，通过索引表实现非主键字段快速查询，
2026-08-20 17:46:36
362
原创 Hudi 1：表类型COW和MOR，Primary Key 与 Partition
本文用通俗易懂的比喻解析Apache Hudi的核心机制：将COW（写时复制）模式比作"完美主义者"，每次修改都重写整个文件，适合读多写少场景；MOR（读时合并）模式则像"灵活便利贴"，通过基础文件和日志文件协作实现快速写入，适合高频更新场景。文章还深入讲解了主键设计原则（唯一性和分布性）和分区策略对查询性能的影响，强调合理分区能大幅提升查询效率。最后总结出"Hudi使用口诀"，帮助读者快速掌握设计要点。
2026-08-19 19:11:20
319
原创 hudi学习0：目录
《Apache Hudi进阶实战学习指南》摘要： 本指南系统化拆解Hudi技术体系为三大阶段：筑基阶段深入核心原理，涵盖表类型（COW/MOR）、索引机制（布隆/HBase/桶索引）、时间旅行等关键技术；进阶阶段聚焦性能调优，包括写入并行度控制、查询加速技巧及Z-Order等高级数据布局；高阶阶段侧重生产运维，涉及TTL管理、OCC并发控制、存算分离架构设计等。全文通过200+技术要点，帮助开发者从理论到实践掌握数据湖实时更新、增量处理等核心能力，最终实现高吞吐、低延迟的生产级数据湖方案。
2026-08-18 20:20:12
171
原创 doris学习4：高阶函数
本文介绍了几种高效处理数据的SQL高阶函数技巧：1. 使用LATERAL VIEW explode_split实现行转列（如拆分爱好字符串）；2. 利用RLIKE正则表达式进行复杂模式匹配（支持忽略大小写）；3. 通过str_to_map解析键值字符串；4. 使用stack函数实现多列转多行（Unpivot）；5. 利用array_agg将多行数据聚合为数组；6. 运用array_contains等数组函数高效处理标签系统查询，避免数据膨胀。这些方法相比传统写法能显著提升查询性能，特别适合大数据场景下的复杂
2026-08-18 10:36:27
183
原创 doris学习3：查询优化，索引与执行计划
假设你有一张表叫 user_orders，你想对 order_status（订单状态）和 user_id 加索引，加速查询。SQL 命令如下：ALTER TABLE 表名_user_orders ADD INDEX idx_索引名 (字段名) USING INVERTED, ADD INDEX idx_索引名 (字段名) USING INVERTED;可以跟布隆过滤一起用：比如：-- 两个一起用，完美。
2026-08-18 10:29:09
205
原创 Doris学习2: 数据分布与存储机制学习笔记
本文介绍了Doris数据库基于LSM-Tree的存储引擎设计。核心流程包括数据先写入内存Memtable，再批量写入磁盘SSTable，最后通过Compaction合并优化存储。该设计的优势在于写入性能高（内存操作+批量顺序写）、存储优化（列式存储+压缩）和高并发支持。虽然存在读放大和写放大的问题，但通过布隆过滤器和自动调度Compaction等技术进行了优化。整体设计使Doris在写入性能和存储效率上表现优异，适合高频写入场景。
2026-08-18 10:15:37
184
原创 doris学习0：建表与分区分桶
本文介绍了Doris数据库高阶建表的关键知识点，主要包括：1. 建表模板结构，包含业务字段、唯一键、分区和分桶策略；2. 分区设计采用List自动分区，支持新值自动创建分区；3. 分桶策略使用Hash分桶+自动分桶，确保数据均匀分布；4. 唯一键模型配置实时更新功能，通过SEQUENCE列解决乱序问题；5. 索引设计使用倒排索引加速查询；6. 存储优化建议采用ZSTD压缩格式。文章还强调了分区键选择有限值、分桶键选择高基数列等重要设计原则，以及监控分区数量的必要性。
2026-08-18 10:13:29
187
原创 RAG优化的多路召回-混合检索
双索引：同时维护一个倒排索引和一个向量索引。多路并发：查询时间时并行发出，汇合结果。排名融合：用类似 RRF 这样不看绝对分数的技巧，公平地合并两个排名。这就是现在绝大多数 RAG 系统在做“混合检索”时的落地方式。它不神秘，就是把两种找资料的方法结合起来，用“排名”而不是“分数”来达成共识。希望这样讲，你能抓住它的工程内核。如果还有想深挖的点，随时聊。
2026-06-25 10:47:06
263
原创 RAG几种主流框架WeKnora、RagFlow、阿里云百炼
RAGflow 有充足预算，愿意投入，服务器资源足，定制化要求高，精度要求高WeKnora：RAG问答集成企微，投入中等，定制化中等阿里百炼：文档保密安全性要求不是很高，钱多，省心。
2026-06-17 14:27:04
708
原创 Transformer简介2-小白进阶版介绍
注意力 = 给不同的词分配不同的“关注分”。「小明在操场上开心地吃着脆甜的西瓜」看到“吃”时，你会本能地重点看“小明”（谁吃）和“西瓜”（吃什么），而“操场上”“开心地”就是配角，关注度低一些。AI怎么做？—— 用“班级开会”类比（重点理解 Q、K、V）假设句子里的每个词都是班级里的一位同学，现在要开班会，每个人都要听听其他同学的意见，来更新自己的认知。Query（查询牌 / Q）：我想找个什么样的同学？（例如“吃”想问：谁是主语？谁是宾语？Key（键牌 / K）：我是什么特点？
2026-06-16 18:03:37
293
原创 Transformer的掩码自注意力机制简介
对应你看到的标准版专业术语，以后再看到直接翻译成大白话就行：表格专业黑话大白话翻译上三角区域设为 −∞把表格右上角 “未来的词”，分数改成极小值，直接作废Softmax 后权重为 0这些作废的词，最终关注度为 0，等于完全看不见因果性有前文才有后文，不能用后文反推前文，不能作弊信息泄露未来的答案提前被模型看到了，相当于作弊自回归解码从左到右，一个词接一个词地生成内容。
2026-06-16 17:57:57
301
原创 Transformer的掩码自注意力机制为什么要一点一点生成简介
为什么需要掩码？：训练时防止模型作弊抄答案，逼它学会「根据前文推后文」的真本事，保证训练和实际使用的规则一致。为什么要逐词生成？：这是大模型唯一会的生成方式，也是保证文章逻辑通顺、因果合理的唯一办法。
2026-06-16 17:57:04
189
原创 Transformer 简介1-小白版
表格Transformer 概念在生成月报里的具体作用词向量 + 位置编码把你的文字问题，转成带顺序的数字清单，让模型能读懂解码器负责 “读懂需求 + 逐词生成” 的核心部门，一层一层打磨语义多头自注意力每一步都梳理词和词的关联，保证内容逻辑通顺、前后对应掩码注意力生成时挡住后面没写的内容，强制模型顺着已有内容往下写多层堆叠几十层解码器层层加工，从字面意思到整体结构，越算理解越深。
2026-06-16 17:27:19
337
原创 大模型的Few-shot的简介
想象一下，你招了一个名牌大学毕业的实习生（也就是大模型）。他很聪明，常识很丰富，但他不知道你们公司具体的业务是怎么干的。现在你想让他帮你写一份“周报”。Zero-shot（零样本）：你直接对他说：“帮我写份周报。*结果*：他凭感觉写了一份，格式全错，根本不是你们公司要的那个样。Few-shot（少样本）：你拿出2~3 份以前别人写过的优秀周报给他看，说：“照着这个样子给我写。*结果*：他看了一眼，模仿着写，出来的东西靠谱多了！Few-shot，就是给 AI 看几个“例子”，让它照猫画虎。
2026-06-15 09:31:20
214
原创 向量数据库相关简介
向量其实就是把文本，图片或者视频等，编译成一个数组，[0.7, 0.6, 0.3]每个特征一个数字，这样查找起来就很快。pg乘积量化 压缩向量来提速。结合起来 IVF_PQ。IVF 倒排文件索引，先聚类，再筛选。HNSW 分层导航小世界。
2026-06-11 09:15:17
48
原创 DeepSeek-V4模型KV-Cache & 计算量 的优化
DeepSeek-V4通过创新性的HCA（重度压缩注意力）和CSA（压缩稀疏注意力）技术，实现了长文本处理效率的突破性提升。新模型将KV-Cache（记忆缓存）需求降低90%，计算量减少74%，在处理百万级文本时，内存占用从46.8GB降至4.9GB，运算量从1156TFLOPs缩减至303TFLOPs。这种"草稿纸压缩术"通过分层处理策略（31层采用128:1压缩，30层采用4:1压缩配合优化索引），在保持精度的同时大幅降低了硬件成本和响应延迟，使超长文本处理变得高效可行。
2026-05-28 10:00:23
442
原创 教AI如何在“客人”突然暴增时，通过内部“瘦身”和“团队协作”，保证响应速度，避免“宕机”
KUNSERVE系统创新性地解决了大模型在线服务中GPU显存被KVCache占满的问题。其核心思路是通过在多卡间动态分配模型参数，临时释放部分冗余参数空间用于KVCache，采用多卡流水线协作保持推理连续性。实验显示，该方法在流量突发时能显著降低首字延迟（TTFT），P99延迟最高可减少72.2倍，仅以每字延迟（TPOT）轻微增加16%-23%为代价。系统通过参数丢弃计划、GPU虚拟内存管理和前瞻性批量调度三个关键技术实现高效协作，为AI服务内存管理提供了新思路。
2026-05-28 09:49:47
376
原创 SSD优化：反应更快、不卡顿的底层软件技术
极简优雅：没用复杂的AI模型，仅用极简规则就解决了行业难题。实用落地：对Linux内核改动极小（仅修改9个文件，新增1224行代码），具备直接合入Linux主线内核的潜力，能让整个操作系统生态受益。普适性强：无需针对不同SSD手动调参，无论是企业级还是消费级SSD，都能自动获得性能提升和稳定性改善。总而言之，DPAS技术通过一套“自动感应、动态切换”的智能指挥系统，让超快SSD的硬件性能得以充分释放，同时解决了业务高峰期的卡顿问题，是一次兼具学术创新和工程落地价值的软件优化。
2026-03-06 16:43:21
477
原创 KV缓存管理演进总结
AI推理中的KV缓存管理演进：从连续分配到统一内存 AI推理部署面临的核心挑战是KV缓存（工作记忆）的高效管理，其显存占用往往超过模型权重本身。文章梳理了KV缓存管理的五个发展阶段： 连续分配（2017）：简单但内存浪费严重 分页注意力（2023）：借鉴操作系统分页思想，显著提升并发能力 异构缓存（2024）：支持多模态等复杂场景 分布式缓存（2025+）：突破单机限制 统一混合内存（2025+）：终极解决方案 不同场景应选择对应方案：普通聊天用分页注意力，多模态需异构缓存，大规模生产环境需要分布式方案。K
2026-03-06 16:36:35
597
原创 nginx代理一个HTML页面
这里是HTML存放的目录路径（存放HTML文件的那个位置，不需要文件名，pwd 看下在哪放的就行）是url的 路径（eg: http:baidu.com/rz 上传HTML文件到 ，第二行： alias。这里是HTML存放的目录路径，上即可。添加如下代码（放到其他代理平行的地方就可）查看配置文件位置：nginx -t。第三行： try_files。第一行：location /第二行： alias。
2026-03-02 14:26:51
409
原创 《ByteExpress》提出了一种巧妙解决NVMe协议处理小数据包效率低下问题
摘要：NVMe协议在处理存算融合设备的小型指令时存在严重效率问题，传输小数据需填满4KB页面，导致巨大带宽浪费。ByteExpress创新方案巧妙利用现有命令队列，将小数据内联到NVMe命令后一起传输，绕过低效的PRP机制。实测显示，该方案在64B~4KB区间节省96.3%传输量，延迟最多降低40.4%，且完全兼容现有硬件。这一非破坏式优化不仅为存算融合时代提供了高效I/O通道，更展示了通过协议细节优化实现重大效率突破的可能性。
2025-12-30 10:25:27
1096
原创 三星2025 IEDM大会公布的未来几年DRAM和HBM内存技术的发展路线
三星公布DRAM和HBM技术发展路线：DRAM方面，计划2025-2028年从1b纳米推进至1c纳米工艺，晶体管结构将从双堆叠升级为八堆叠；HBM方面，2025年量产HBM3E，2026年推出12层堆叠HBM4，2028年推出16层HBM4E。同时布局LPDDR6、GDDR7等新内存标准，并研发CXL内存扩展、存算一体和3D异质集成技术，以满足AI和高性能计算需求。
2025-12-30 10:17:59
864
原创 招牌红烧肉版-深度神经网络
本文通过"开餐厅学做招牌菜"的比喻，生动阐释了深度神经网络的工作原理。将厨房比作神经网络：输入层是食材，隐藏层是不同工序（预处理、炖煮、收汁），输出层是成品菜。详细说明了前向传播（按菜谱试做）、损失函数（评委打分）、反向传播（复盘找问题）、梯度下降（调整菜谱）和学习率（调整幅度）等核心概念。这个比喻完整呈现了神经网络"试菜-复盘-改进"的迭代学习过程，最终形成完美菜谱（训练好的模型）。通过厨房流水线的类比，使复杂的深度学习原理变得直观易懂。
2025-12-30 10:11:31
705
原创 GhostCache 的新型缓存侧信道攻击
摘要：研究人员发现一种新型缓存侧信道攻击GhostCache，它无需依赖计时器即可窃取敏感信息，突破了现有防护措施。该攻击利用现代处理器L1指令缓存与数据缓存之间的弱一致性漏洞，通过精心设计的操作探测缓存状态变化。实验证明，GhostCache可在多款商用和开源RISC-V/ARM处理器上实现高精度攻击：网站指纹识别准确率超90%、跨权限内核数据泄露、以及RSA密钥窃取。受影响芯片包括ARMCortex、AppleM系列及多款RISC-V处理器。有效防御措施是在安全域切换时刷新指令缓存。该研究已获ARM、S
2025-12-29 17:42:44
1291
原创 0-1大模型简介
本文介绍了从零构建小型LLM（类似GPT2）的实现过程。主要内容包括：1. Tokenizer部分：详细讲解BPE分词算法原理，比较字符级、词级和子词级分词方案的优劣；2. 模型核心组件：包括嵌入层（解决数字无语义问题）、位置编码（处理词序）、注意力机制（建立词间关系）和Transformer结构；3. 训练方法：通过预测下一个词的任务让模型学习语言模式，并介绍了SFT微调方法；4. 生成策略：解释温度和top-k采样对输出多样性的影响。文章旨在通过手写实现帮助开发者理解LLM底层原理，打破对黑盒模型的恐惧
2025-12-26 16:42:48
925
原创 高内存压力下提升系统响应速度、改善用户体验
Archer是一种创新的移动设备内存压缩技术，通过挖掘内存页面的访问关联性实现批量压缩优化。该技术包含三个核心组件：足迹流生成器记录页面访问历史，频繁模式树列表挖掘页面关联规则，自适应压缩区域支持大粒度压缩块。实验表明，Archer能显著提升系统性能：应用启动速度提升30-55%，拍照速度提升1.22-1.42倍，同时保持低能耗（仅增加0.69%）和小内存开销（百KB级别）。这项研究首次将关联规则挖掘应用于内存压缩，为移动设备在内存紧张时保持流畅运行提供了新思路。
2025-12-23 17:44:37
968
原创 新兴存储全景与未来架构走向
报告的核心结论是，未来没有一种“万能”的存储技术。AI计算系统将依赖于DRAM、NAND与多种新兴存储技术（如HBM, CXL, PIM, SOM/MRAM等）的“组合创新”，通过架构层面的深度融合来满足不同场景对性能、能效和成本的要求。为了支撑更强大的AI，计算、内存和存储必须进行系统性的协同革新。如果你对其中某一种具体的技术（比如HBM是如何工作的，或者PIM如何实现“存内计算”）特别感兴趣，我们可以深入探讨。或者，你也可以分享更具体的场景，我们可以一起分析哪种技术组合可能成为关键。
2025-12-23 17:41:25
1649
原创 NeurIPS 2025 会议上核心技术
本文综述了NeurIPS2025会议上7项通用深度学习模型结构优化工作，聚焦于在不损失模型效果的前提下降低计算成本和参数存储开销。主要优化方向包括：1）GatedAttention通过门控机制过滤无效信息；2）MGLU利用参数共享压缩GLU激活函数的参数量；3）Multi-head Temporal Latent Attention在时间维度压缩KV Cache；4）SeerAttention通过池化和蒸馏提升长序列计算效率；5）EUGens设计新型MLP结构减少计算量；6）SparkAttention利用
2025-12-23 17:37:01
907
原创 Gemini 3 Flash打破了“参数越大越智能”的行业常规认知
谷歌发布突破性轻量级大模型Gemini3Flash，其参数规模仅为Pro版本的1/5-1/10，却在多项复杂任务上反超Pro版本。核心突破在于创新的Titans架构，通过神经记忆机制实现：1）测试时动态学习，将重要信息存入长期记忆；2）基于"惊奇度"指标选择性记忆关键内容；3）线性复杂度处理百万级上下文，在OpenAI MRCR测试中达到90%准确率。该模型以0.5美元/百万token的低成本，实现了超越参数规模的智能表现，标志着AI发展从"堆参数"转向架构创新。
2025-12-23 17:29:41
926
转载 Databricks和Snowflake的区别简介
《数据平台的王座之争：Databricks与Snowflake的差异化竞争》 摘要：Databricks和Snowflake作为数据管理领域的领军企业，分别代表"数据湖"和"数据仓库"两种技术路线。Databricks源自伯克利AMP实验室，以开源Apache Spark为基础，推行开放灵活的湖仓一体架构；Snowflake则由Oracle前工程师创立，提供闭环集成的云数据仓库服务。两者在技术架构、商业模式和AI战略上各具特色：Databricks侧重开发者社区和技术
2025-12-23 16:51:13
267
原创 Linux 的Ctrl + Z、bg、fg 和 kill 等命令
摘要：Linux系统中Ctrl+Z、bg、fg和kill是管理进程的关键命令。Ctrl+Z暂停前台进程，bg让暂停的进程在后台继续运行，fg将后台进程调至前台，kill用于终止进程（支持多种信号）。结合jobs命令查看作业状态，这些工具能有效管理终端中的多任务处理，适用于需要暂停/恢复进程或后台运行长时间任务的场景，提升命令行工作效率。（148字）
2025-11-19 16:37:16
1081
原创 使用WinBoat在Linux中安装window应用
摘要：WinBoat是一款14K+ Star的开源工具，帮助Linux用户无缝运行Windows应用。基于Docker容器、FreeRDP和KVM虚拟化技术，提供优雅的Electron界面，支持一键安装、文件共享和资源监控。能运行单应用或完整桌面环境，特别适合开发办公等场景。特性包括：原生窗口集成、自动化部署、跨系统文件共享和活跃社区支持。目前处于0.9.0测试阶段，采用MIT许可，适合需要跨平台兼容的Linux用户和开发者团队。
2025-11-05 17:04:52
1099
原创 BettaFish舆情监控
"微舆"是一款创新型多智能体舆情分析系统，通过AI驱动实现全网舆情监控与深度分析。系统整合30+社媒平台数据，采用五大专业Agent协同工作，具备多模态内容解析、公私域数据融合和智能报告生成等核心功能。其创新性体现在"论坛式"协作机制，通过辩论式思维碰撞提升分析质量。系统采用模块化设计，支持快速部署和扩展，既能满足舆情分析需求，也可灵活适配金融等垂直领域。目前支持情感分析、热点追踪等功能，未来计划增加基于历史数据的预测模块。项目开源且提供云数据库服务，适用于学术研究和
2025-11-05 09:31:05
1737
原创 基于大语言模型（LLM）的多智能体应用的新型服务框架——Tokencake
Tokencake是首个以KV Cache 为中心、专为LLM 多智能体应用设计的服务框架。通过智能体感知的空间分区与预测驱动的时间卸载/加载机制，有效解决了多智能体场景下的资源争用与缓存闲置问题，在真实负载下显著优于现有系统。原文：大型语言模型（LLM）正越来越多地应用于需要外部函数调用的复杂多智能体场景中。这类工作负载给KV Cache带来了严峻的性能挑战：空间竞争会导致关键智能体的缓存被驱逐，而时间利用率低下使得运行工具调用等待期间，停滞的智能体缓存长时间闲置于GPU内存中。针对上述挑战，
2025-11-04 16:33:23
1582
原创 DepCache：面向GraphRAG的依赖注意力与KV Cache管理框架
摘要：针对GraphRAG系统存在的冗余计算和缓存复用效率低问题，研究者提出DepCache优化框架。通过依赖注意力机制(仅计算相关实体间的注意力)和图结构感知的KVCache复用策略，配合创新的LACR缓存替换算法，在Llama3等模型上实现：首Token延迟降低1.5-3.2倍，吞吐率提升1.5-5倍，缓存命中率提高6.7%-10.1%，同时保持生成质量。实验验证了结构感知微调和图KV复用的关键作用，为知识密集型LLM应用提供了高效推理方案。（149字）
2025-11-04 13:37:26
940
httpclient-4.3.1.jarhttpcore-4.4.13.jarcommons-logging-1.2.jar
2022-04-30
kafka_2.12-3.2.0kafkakakakakakakakakakakakaka
2022-08-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人