- 博客(85)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 计算机软件-术语-什么叫中间件
摘要 中间件是位于系统软件之上，连接不同软件实体的支撑软件。其核心特征包括：1）位于相同层级组件之间（应用层与基础设施层、请求处理链路、异构系统或调用前后切面）；2）作为"管道工"不包含业务逻辑，只处理横切关注点；3）对上游隐藏下游复杂性，对下游解耦上游变化。LangChain中的中间件属于编码模块级，处理调用前后的非业务逻辑（如日志、安全等），类似AOP实现。正确理解中间件的定位和作用，有助于准确使用各类技术组件。
2026-04-02 11:22:03
403
原创 AI-大语言模型-智能体开发-如何测试智能体应用
本文系统阐述了智能体应用的测试方法论，从功能、性能和安全三个维度展开。功能测试涵盖意图识别、规划器、工具调用等模块的准确性和可靠性；性能测试包括延迟、并发能力和资源消耗等指标；安全测试针对提示词注入、有害内容生成等风险进行防护验证。测试方法采用标注数据集评估、故障注入测试等多种技术手段，并强调自动化测试和数据准备的重要性。该框架为智能体系统的质量保障提供了全面指导。
2026-03-30 17:50:30
699
原创 AI-大语言模型LLM-智能体应用如何保证幂等性
摘要： 幂等性指操作执行一次与多次结果相同，解决分布式系统中的重复请求问题（如网络重试、消息队列重复消费）。常见方案包括Token机制、唯一索引、状态机和乐观锁。在智能体应用中，需结合请求级幂等Token、会话级检查点恢复、工具调用去重及业务状态机实现多层防护，尤其需利用LangGraph等框架的Checkpoint机制实现断点续传。智能体架构应整合API网关校验、状态持久化和工具侧幂等，确保复杂流程中的一致性。
2026-03-24 10:45:14
498
原创 AI-大语言模型LLM-LangGraphV1.0学习笔记-stream_mode参数详解
本文详细介绍了LangGraph中stream_mode参数的用法，该参数用于控制图执行时的流式输出内容。文章解析了7种流模式（values/updates/messages/custom/debug/checkpoints/tasks）的具体功能、适用场景和输出格式，并提供了单模式、多模式组合及自定义流写入的代码示例。最后提醒用户注意异步兼容性、性能影响和版本差异等使用要点，帮助开发者根据需求选择合适的流式监控方式。
2026-03-23 22:35:09
486
1原创 AI-大语言模型-模型训练-数据集2-数据规模要求
维度全量预训练LoRA 微调数据规模千亿级 Tokens千级至万级 (K) 样本数据单位Token（字符/词）样本（Instruction-Output 对）核心定律经验法则（小样本有效）数据质量允许噪声，重去重必须高质，零容忍噪声失败风险数据不足导致欠拟合（学不会）数据过多/质量差导致过拟合（学偏）7B 模型参考~1k-20k 条。
2026-03-20 14:25:15
729
原创 AI-大语言模型-模型训练-数据集1-总述
复查代码：确保的随机种子固定，且测试集未参与任何训练环节。可视化数据：使用PCA或t-SNE查看训练集和测试集的特征分布是否重叠。简化实验：用一个极简模型（如逻辑回归）跑一遍，如果简单模型在测试集上表现尚可，说明复杂模型过拟合；如果简单模型也差，说明数据本身有问题。人工检查：随机抽取测试集中预测错误的样本，人工分析错误原因，是模型真不会，还是数据有问题。任务对齐：明确模型要解决的具体任务（如文本生成、分类、问答），以此决定所需的数据类型和格式。数据规格书。
2026-03-20 11:03:57
506
原创 AI-大语言模型LLM-LangChainV1.0学习笔记-模型不同调用方式的差异
实现原理继承ChatOpenAI，重写响应解析方法拦截原始响应，提取将其注入到返回的AIMessage中完整实现代码"""支持获取推理过程的 ChatOpenAI 子类专为 DeepSeek-R1 模型设计"""# 自动添加必要的 extra_body 参数"""重写响应解析方法，捕获 reasoning_content"""# 1. 先调用父类方法获取标准结果# 2. 从原始响应中提取 reasoning_content。
2026-02-24 14:08:07
842
原创 Python基础-With关键字
如果你想自己实现一个支持with的对象，只需定义__enter__和__exit__# 进入 with 代码块时执行print("进入上下文：准备资源")# 返回的值会赋值给 as 后的变量return "我是上下文返回的内容"# 退出 with 代码块时执行# exc_type: 异常类型，exc_val: 异常值，exc_tb: 异常栈（无异常则为 None）print("退出上下文：清理资源")# 如果返回 True，会抑制异常（不向外抛出）；返回 False 则正常抛出。
2026-02-19 17:21:48
405
原创 AI-大模型应用开发-大模型生成参数调优速查表
大模型参数调优速查表提供了常见场景下的核心参数配置指南。表格列出8个关键参数及其作用，包括max_new_tokens、temperature、top_p等，并给出典型取值。针对4类典型场景（对话聊天、代码生成、创意写作、文本摘要）提供推荐参数组合。最后提出4条调优注意事项：避免同时高temperature和top_p、优先调整temperature、注意上下文窗口限制、控制重复惩罚力度。该速查表可帮助开发者快速选择合适参数组合，优化大模型生成效果。
2026-02-19 16:46:11
667
原创 AI-大语言模型LLM-模型微调8-进阶操作
创建自定义模型nn.ReLU(),net# 打印模型参数0.weight0.bias2.weight2.bias# 微调配置，指定针对编号为为0的层进行适配config# 包装成peft模型peft_modelPeftModel(
2026-02-01 14:30:50
190
原创 AI-大语言模型LLM-模型微调7-IA3
IA3（Infused Adapter by Inhibiting and Amplifying Inner Activations）是一种通过三个可学习向量缩放模型内部激活值的超高效微调方法。它仅需极少量参数（通常约0.01%的模型参数），就能在多种任务上达到优异性能。IA3代表了微调技术的极致简化方向——它证明了大模型的适配有时只需要学习“何时强调、何时忽略”的简单规则。通过三个精心放置的缩放向量，IA3以近乎可以忽略的参数代价，实现了接近全微调的效果。这种方法特别适合工业化部署场景。
2026-02-01 13:51:16
480
原创 AI-大语言模型LLM-模型微调6-LoRA
LoRA（Low-Rank Adaptation）是一种通过低秩矩阵分解来高效微调大模型的参数高效微调方法。其核心思想是：工程经验证明：大模型在适应新任务时，其参数变化具有低秩特性。因此可以用极小的参数代价实现高质量的模型适配。秩是矩阵中线性无关的行或列的最大数量，反映了矩阵包含的独立信息维度。例如，一个秩为2的矩阵，其所有行或列都可以由2个独立的基底组合而成，就像一个三维空间的影子实际上可能只由两个方向决定。秩越小，矩阵包含的冗余信息越多。LoRA通过低秩矩阵分解这一简洁而深刻的洞察。
2026-02-01 13:23:04
663
原创 AI-大语言模型LLM-模型微调5-Preffix-Tuning
核心思想：在每一层前面加“提示”在Transformer模型的每一层（而不仅仅是输入层）的键值对（K, V）序列前，拼接一段可训练的“前缀向量”。这个“前缀”相当于一个连续的、任务特定的上下文，能更深入地引导模型的激活方向，从而控制生成结果。核心机制对比特性维度P-Tuning作用位置仅输入嵌入层输入嵌入层（经编码器处理）所有Transformer层的键值对序列前可训练参数连续的提示向量提示向量 + 轻量级提示编码器每层的“前缀”键值向量优化对象直接优化提示嵌入优化提示编码器的参数优化一个。
2026-02-01 12:00:59
723
原创 AI-大语言模型LLM-模型微调4-P-Tuning
P-Tuning和Prompt Tuning在优化方式上的“层数差异”核心在于它们对提示的可训练参数的设计不同。P-Tuning多的一层本质上是一个提示优化器建模提示内部的依赖关系提供更结构化的提示表示提高参数效率和学习稳定性是否值得这额外的复杂度，取决于具体任务、数据量和模型大小。对于复杂任务和小数据场景，P-Tuning的优势更明显；对于简单任务或超大模型，Prompt Tuning可能就足够了。
2026-02-01 11:05:46
576
原创 AI-大语言模型LLM-概念术语-Dropout
Dropout是一种神经网络正则化技术，通过在训练时随机禁用部分神经元（典型丢弃率0.5）来防止过拟合。其核心思想是让网络不能依赖特定神经元，相当于训练多个子网络并集成。主要类型包括标准Dropout（全连接层）、空间Dropout（CNN）、变分Dropout（RNN）和注意力Dropout（Transformer）。使用时需区分训练（随机丢弃+缩放）和测试（完整网络）模式，并注意与批归一化的交互。优点包括防止过拟合、模型集成效果和计算高效，缺点是可能增加训练时间。实际应用中需根据网络类型（全连接层0.5
2026-01-31 19:53:22
1190
原创 AI-大语言模型LLM-Transformer架构7-模型参数量计算
本文详细计算了Bloom-1b4-zh语言模型的参数量。通过分析模型结构中的嵌入层、24个Transformer块（包含自注意力层和前馈网络）、LayerNorm层以及输出层，逐层累加参数。结果显示：嵌入层94.5M、LayerNorm层204K、自注意力层402.8M、MLP层805.5M、输出层94.5M，总参数量达到1.3B（13亿），与模型名称"1b4"（1.4B）基本吻合。计算过程验证了Transformer架构各组成部分的参数规模，为理解大模型参数分布提供了具体案例。
2026-01-31 11:08:41
674
原创 AI-大语言模型LLM-Transformer架构6-输出层
本文介绍了Transformer架构中的输出层部分，主要包括Linear层和Softmax层。Linear层是一个简单的单层感知机，负责将解码器输出的语义向量映射回词表空间，与编码器的Embedding层作用相反。Softmax层则将Linear输出的词得分向量转换为概率分布，通过指数归一化处理实现数值稳定性，最终选择概率最大的词作为输出。这两层共同完成了从语义表示到具体词汇的转换过程，是Transformer生成结果的关键步骤。
2026-01-29 23:05:57
682
原创 AI-大语言模型LLM-Transformer架构5-残差连接与前馈网络
本文重点介绍了Transformer架构中的残差连接和前馈网络(FFN)两大关键组件。残差连接通过将输入与输出相加并归一化，解决了深层网络的梯度消失问题，保留了浅层信息。前馈网络则作为非线性处理单元，与注意力机制互补：注意力层建立词间关系，FFN对每个词进行深度特征提取。两者协同工作，使Transformer既能捕捉全局依赖又能学习复杂模式。这些组件在编码器和解码器堆栈中重复使用，共同构成了Transformer强大的特征提取能力。
2026-01-29 20:01:50
329
原创 AI-大语言模型LLM-Transformer架构4-多头注意力、掩码注意力、交叉注意力
在前文Transformer架构2-自注意力中，讲到上图中的1号、2号注意力都是自注意力，而在详细架构图中，他们又被描述为多头注意力、掩码注意力等。这些注意力的类型并非互斥，他们只是从不同的角度对注意力机制进行的分类按Q、K、V的不同来源分类自注意力：Q、K、V来自同一个序列交叉注意力：Q、K、V来自不同的序列，上图3号编码器-解码器注意力是一种具体的交叉注意力，它的Q来自解码器（的输出序列），K、V来自编码器（的输出序列）按Q、K、V的数量分类多头注意力。
2026-01-28 22:32:53
1287
原创 AI-大语言模型LLM-Transformer架构3-嵌入和位置编码
本文重点介绍了Transformer架构中的嵌入(Embedding)和位置编码(Position Encoding)技术。嵌入通过分词、编码和向量化将文本转换为高维语义表示，包含词嵌入、子词嵌入等多种类型。位置编码则用于补充序列顺序信息，包含正弦余弦、可学习嵌入、相对位置等不同实现方式。文章对比了各类嵌入和位置编码的特点、优缺点及典型应用，指出现代大模型多采用上下文嵌入与子词嵌入结合的方式，以及相对位置或旋转位置编码技术。这些组件共同为Transformer模型提供完整的语义和位置信息处理能力。
2026-01-28 19:25:26
1105
原创 AI-大语言模型LLM-Transformer架构1-整体介绍
本文系统介绍了Transformer架构及其革命性意义。Transformer完全基于注意力机制，摒弃了传统RNN/CNN，实现并行化处理和长距离依赖建模。其核心包括编码器堆栈（理解输入）、解码器堆栈（生成输出）和注意力连接。相比RNN，Transformer具有全局上下文感知、动态权重分配和高效并行计算等优势。文章还介绍了BERT、GPT等变体，并指出其O(n²)复杂度、位置编码局限性和数据依赖等问题。Transformer彻底改变了序列处理方式，为NLP领域带来质的飞跃。
2026-01-28 15:05:07
1897
原创 数据治理-Doris-逻辑入湖-ES
本文探讨了使用Doris进行数据治理时，从物理入湖转为逻辑入湖的实践经验。针对ES告警数据集成存在的耗时耗力、同步延迟等问题，作者比较了Catalog方案和外部表方案。Catalog方案存在数据类型映射异常和多索引查询困难，而外部表方案通过自定义数据类型和模糊匹配索引解决了这些问题。虽然外部表方案在数据对象管理上存在一定局限性，但相比物理入湖仍显著提升了效率。文章提供了创建ES外部表的示例代码，展示了如何将复杂数据类型转换为Doris支持的格式。
2026-01-27 20:13:55
513
原创 AI-深度学习-循环神经网络RNN-注意力机制
注意力机制是让神经网络能够动态地、有选择地关注输入中不同部分的计算方法。它模拟了人类的注意力行为：我们在处理信息时，会本能地聚焦于关键部分，忽略次要信息。是什么？注意力机制是神经网络的“选择性聚焦”系统，通过查询-键-值三要素，让模型能够动态地、有选择地关注输入的不同部分。为什么？信息瓶颈→ 动态上下文按需取用对齐困难→ 软对齐自动学习长距离衰减→ 直接连接任意位置怎么办？核心计算权重 = softmax(Q·Kᵀ/√d)输出 = 权重·V主要类型自注意力：序列内部自我理解交叉注意力。
2026-01-25 21:36:13
372
原创 AI-深度学习-循环神经网络RNN-编码器和解码器
编码器-解码器是一种用于处理序列到序列转换的神经网络架构。它将一个领域的数据（如文本、图像）编码为中间表示，再解码为另一个领域的数据。编码器：理解器，将输入压缩为抽象表示解码器：生成器，将抽象表示展开为目标输出核心先理解，后生成的架构模式。
2026-01-25 21:13:22
997
原创 AI-深度学习-循环神经网络RNN
本文介绍了循环神经网络（RNN）的核心概念与应用。RNN是一种专门处理序列数据的神经网络，通过循环连接和隐藏状态机制实现对时序依赖关系的建模。相比传统神经网络，RNN能处理变长输入/输出，并捕捉数据中的顺序信息。文章详细阐述了RNN的核心思想、解决的问题动机，以及其实现方式与关键结构。
2026-01-22 22:27:59
618
原创 AI-深度学习-卷积神经网络-残差网络
残差网络（ResNet）是一种通过引入“快捷连接”来构建极深卷积神经网络的架构。其核心思想是“残差学习”。残差在数学和统计学中，残差指的是观测值与预测值之间的差值。在ResNet中，理想的"观测值"设为H(x)基准预测值设为B(x)=x（即输入和输出相同，什么也不改变）残差传统网络：让多层网络直接学习一个目标映射H(x)。残差网络：让多层网络学习一个残差映射，而最终的输出仍是。这里的x就是通过快捷连接直接传递过来的输入。简单比喻传统学习像是让你从零开始画一只猫。
2026-01-22 20:54:33
879
原创 AI-深度学习-卷积神经网络CNN
卷积神经网络（Convolutional Neural Network, CNN）是一种专门为处理具有类似网格结构的数据（如图像、视频、音频频谱图）而设计的。
2026-01-20 21:47:43
1039
原创 AI-深度学习-卷积神经网络-卷积核的由来
摘要：卷积核的初始值通过随机初始化策略（如高斯分布或Xavier初始化）生成，以避免对称性问题。在训练过程中，网络通过反向传播和梯度下降算法不断调整卷积核权重，使其逐渐特化为检测特定视觉特征的探测器。低层卷积核最终会学习到类似Gabor滤波器的边缘、纹理等基础特征，而深层卷积核则能识别更抽象的语义模式。整个过程体现了深度学习数据驱动、端到端学习的核心思想，但深层网络的可解释性仍存在挑战。
2026-01-20 20:42:26
661
原创 AI-深度学习-常见问题和解决方案
摘要：本文探讨了深度学习中的反向传播算法及其常见问题——梯度消失和梯度爆炸。反向传播通过链式求导法则高效计算梯度，但深层网络训练时可能出现梯度不稳定问题。梯度消失源于连乘因子小于1，导致浅层参数更新停滞；梯度爆炸则因连乘因子大于1，造成数值溢出和模型不稳定。解决方案包括：使用ReLU类激活函数、批量归一化、Xavier/He参数初始化，以及采用残差连接等网络架构优化。这些方法有效缓解了深层网络的训练难题，推动了深度学习的发展。
2026-01-19 21:13:36
810
trino-435版本rpm安装包和trino-cli客户端
2025-11-06
trino-jdbc驱动包
2025-11-06
Trino连接达梦数据库的插件包
2025-11-04
SpringBoot3 Demo级别源码
2025-10-28
JSON格式化工具，纯前端工具
2025-09-04
银河麒麟服务器操作系统V10 SP3 X86-6 分卷压缩-第1/5
2024-08-06
银河麒麟服务器操作系统V10 SP3 X86-64 分卷压缩-第2/5
2024-08-08
FastDFS相关安装包及客户端上传样例代码.zip
2019-07-28
fastdfs相关安装包.zip
2019-07-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人