- 博客(141)
- 收藏
- 关注
RSS订阅原创 Async/Await终极指南：解锁Python高性能并发编程，避坑IO密集型场景！——深入浅出讲解async def用法，附实战代码与场景分析，别再误用CPU密集型！
Python中的asyncdef用于定义异步函数，是异步编程的核心。异步函数通过await调用其他异步操作，适用于IO密集型任务（如网络请求、数据库查询）和高并发场景，能提升效率但不适合CPU密集型计算。调用异步函数需通过事件循环（如asyncio.run()）或await，常见于FastAPI等框架。注意避免同步阻塞操作，正确使用await。异步编程可提升IO应用性能，但会增大代码复杂度，需根据场景选择使用。
2025-09-11 15:30:18
417
原创 什么时候用@staticmethod静态方法！！
本文介绍了Python中静态方法(@staticmethod)的使用场景：1. 当方法逻辑仅与输入参数相关，与类/实例无关时（如工具函数）；2. 方法语义与类强相关时（如几何计算公式）；3. 需要限制方法仅作内部使用时；4. 当既不需要实例属性也不需要类属性时。静态方法的特点是无需self/cls参数，不能访问类/实例属性。与实例方法（需访问对象状态）和类方法（需访问类状态）不同，静态方法适用于独立但语义上属于类的函数。若函数与类完全无关，则应定义为全局函数。
2025-08-23 11:16:51
260
原创 coze和dify核心区别和联系
Coze和Dify是两大AI应用开发平台，核心差异如下：Coze是字节推出的无代码Bot搭建平台，适合非技术人员快速创建对话式应用，依托字节生态但平台依赖性较强；Dify是开源开发框架，支持RAG、LLMOps等企业级功能，技术门槛较高但扩展性强，适合深度定制需求。两者定位互补，Coze侧重轻量级C端应用，Dify专注专业级企业解决方案。选择取决于用户需求——追求零代码快速落地选Coze，需要可控性和定制化则选Dify。
2025-08-23 09:18:09
1014
原创 解释实现哈希值作为唯一的ID以及后面的hexdigest是什么意思
这段代码使用MD5哈希算法生成文档内容的唯一标识。首先将文档内容编码为UTF-8字节序列，然后通过hashlib.md5()计算MD5哈希值，最后用hexdigest()转换为十六进制字符串作为ID。这样即使文档内容微小变化，也会产生完全不同的哈希值，确保ID的唯一性。hexdigest()使二进制哈希结果转为可读的十六进制格式，便于存储和比较。
2025-08-22 19:53:28
199
原创 RAG中稠密向量和稀疏向量
本文对比了稀疏向量与稠密向量的特点及其在RAG（检索增强生成）中的应用。稀疏向量（如BM25）通过高维稀疏表示实现精确关键词匹配，但缺乏语义理解；稠密向量（如BERT嵌入）则通过低维稠密编码捕捉语义相似性。在RAG中，稠密向量因其强大的语义理解能力成为核心检索机制，而稀疏向量作为补充处理精确匹配需求。当前趋势是采用混合检索策略，结合两者优势：通过算法（如RRF）融合语义相关性和关键词匹配结果，显著提升检索效果。最终，稠密向量承担主要语义理解功能，但混合检索正成为最优解决方案。
2025-08-22 19:39:02
1018
原创 什么是哈希值（hash value）？？？
摘要：哈希值是通过哈希函数生成的固定长度数字指纹，具有确定性、单向性、雪崩效应和抗碰撞性等核心特性。它广泛应用于数据校验（如软件完整性验证）、快速查找（哈希表）、密码存储、数字签名、区块链及去重识别等领域。常见算法包括MD5（已不安全）、SHA-256（主流安全算法）等。哈希值能敏感反映输入变化，如"Hello"与"hello"的哈希完全不同，是保障数据安全与高效处理的重要技术基础。
2025-08-22 18:26:24
747
1
原创 BM25 系列检索算法
BM25系列检索算法解析：BM25是基础算法，通过词频饱和和文档长度归一化实现稳健检索；BM25L减轻对长文档的惩罚；BM25+提升短文档得分；BM25Okapi是标准实现版本。这些变体针对不同场景优化，形成完整的信息检索解决方案。
2025-08-20 19:53:03
569
原创 加权排名策略
加权排名策略通过为不同因素分配权重，结合标准化处理和加权计算，实现多维度数据排序。其核心步骤包括：确定因素、分配权重、标准化处理、计算加权得分和最终排序。广泛应用于搜索引擎、产品推荐和评分系统等场景，能有效综合多指标数据进行科学排序。
2025-08-20 15:32:44
449
原创 Milvus 安装和启动指南
Milvus是一个高性能开源向量数据库，支持多种安装方式。Docker安装最为便捷，通过拉取官方镜像并使用docker-compose启动服务；源码安装适合开发者，需预先安装Go、CMake等工具；二进制文件安装则直接下载预编译版本运行。所有方法启动后均可通过19530端口或Web界面验证服务状态。安装过程中需注意端口配置和依赖服务检查，常见问题包括端口冲突和依赖服务未启动等。
2025-08-19 21:20:43
831
原创 Milvus 向量数据库中的索引类型
Milvus向量数据库提供多种索引类型以适应不同场景需求：FLAT适合小数据集精确搜索；IVF_FLAT用于中等规模数据，在精度和速度间平衡；IVF_SQ8通过8位量化优化大规模数据存储和计算；IVF_PQ结合产品量化技术处理超大规模高维数据；HNSW则适用于需要快速近似搜索的动态数据场景。每种索引类型在存储效率、计算速度和查询精度方面各有侧重，用户可根据具体数据规模和性能需求进行选择。
2025-08-19 19:15:52
619
原创 BM25算法和传统的TF-IDF算法的区别
BM25与TF-IDF是两种文档排序算法。TF-IDF通过词频和逆文档频率的线性组合计算得分，简单但易受高频词和文档长度影响。BM25改进了TF-IDF，引入非线性词频调节(k1)、文档长度归一化(b)和优化IDF公式，使结果更稳健。相比TF-IDF的固定模式，BM25具有参数可调性，能更好处理词频饱和和文档长度偏差，在搜索引擎等复杂检索任务中表现更优。TF-IDF适合简单文本分析，而BM25成为现代检索系统的基准算法。
2025-08-16 20:55:10
688
1
原创 vLLM（Vectorized Large Language Model Serving） 的深度解析
vLLM 是一款针对大语言模型（LLM）推理优化的高性能服务框架，通过 PagedAttention 显存分页管理和 连续批处理 技术，显著提升吞吐量（较传统方案高10-24倍）和显存利用率（达90%+）。其核心创新包括：动态分配KVCache显存块以支持混合序列请求、实时插入新请求的批处理机制，以及多副本权重共享。vLLM 支持快速部署HuggingFace模型，提供量化、多GPU并行等高级功能，适用于高并发在线服务（如客服机器人）、长文本生成（>4K上下文）及多租户场景。局限性在于主要适配
2025-08-14 17:15:29
937
原创 top-p和top-k核心区别和联系以及应用场景
Top-k和Top-p是两种常见的文本生成采样方法。Top-k固定选择概率最高的前k个词，计算高效但灵活性不足；Top-p动态选择累积概率超过p的最小词集，能自适应分布但计算稍复杂。两者可单独或组合使用，Top-k适合确定性任务（如代码生成），Top-p适用于创造性任务（如诗歌创作）。参数调优需权衡多样性与质量，最新研究趋向自适应动态调整。建议优先使用Top-p，在需要严格控制的场景结合Top-k。
2025-08-14 17:15:21
639
原创 Transformers库中的 Trainer 类 的详细解析
HuggingFace Trainer的核心功能与最佳实践。Trainer提供自动化训练流程，支持分布式训练和主流工具集成。基础使用包括数据准备、模型加载、参数配置和评估指标设置。高级功能涵盖梯度累积、学习率调度、LoRA微调等优化技巧。生产环境配置重点包括分布式训练、显存优化和模型部署方案。文章还提供了问题排查方法及与W&B、MLflow等工具的集成方式。最佳实践强调高效数据加载、训练稳定性和生产就绪方案，帮助开发者快速构建高效的NLP训练流程。
2025-08-14 17:07:24
485
原创 prompttuning方法和ptuningV1和ptuningV2三种方法的核心区别和联系
PromptTuning是一种高效的自然语言处理技术，通过优化输入提示（而非模型参数）来适配下游任务。主要包括硬提示（人工设计）和软提示（可训练向量）两种方式。P-TuningV1通过可训练前缀向量实现任务适配，而P-TuningV2进一步优化任务指令文本，提升灵活性但增加计算量。两者都基于提示优化思想，但P-TuningV2在任务理解能力上更优，适合需要调整任务描述的复杂场景。这些方法显著减少了参数调整量，适用于资源受限环境。
2025-08-09 16:33:00
734
原创 Prompt Tuning的三种方法
本文介绍了三种PromptTuning方法：1）硬提示（HardPrompting）：基于人工设计的固定文本提示，简单直接但灵活性差；2）软提示（SoftPrompting）：通过训练学习提示向量，灵活性高但需额外计算；3）提示调优（PromptTuning）：结合硬提示和软提示的优势，能适应多种任务但复杂度较高。三种方法各具特点，可根据任务需求和资源选择适合的方式，尤其适合少样本或零样本学习场景。
2025-08-09 15:53:25
760
原创 ICL（In-Context Learning）上下文学习方法
ICL（上下文学习）是NLP领域新兴的学习方法，利用预训练模型通过上下文示例直接推理，无需参数更新。其核心是通过提示（如任务说明和示例）引导模型完成任务，适用于零样本/少样本场景。相比传统监督学习，ICL更高效灵活，但依赖上下文质量和模型能力。主要应用于文本生成、分类、翻译等任务，优势在于无需重训练即可快速适配新任务，但存在输出不稳定等局限。典型应用包括通过示例指导模型进行情感分析或问答任务。
2025-08-08 19:51:39
1028
原创 PEFT详解以及PEFT参数高效微调的多种方式
PEFT（参数高效微调）方法通过仅微调少量参数实现大模型适配，显著降低资源消耗。主流技术包括：LoRA（低秩矩阵分解）、PrefixTuning（注意力前缀）、PromptTuning（可学习提示）、Adapter（插入小模块）、QLoRA（量化版LoRA）等。这些方法通过修改注意力机制、输入嵌入或网络结构，在保持预训练权重不变的同时，以1%-10%参数量完成特定任务适配。不同方法在参数量、修改部位和适用场景上各有特点，如LoRA通用性强，PromptTuning极简，QLoRA支持大模型低资源训练。
2025-08-08 16:44:43
645
原创 朴素贝叶斯核心思想以及TF-IDF和朴素贝叶斯配合使用流程
朴素贝叶斯是一种基于贝叶斯定理和特征条件独立假设的分类算法。其核心思想是通过计算各类别的后验概率进行预测，常用公式为P(y)∏P(xi|y)。该算法在文本分类中表现优异，尤其适合与TF-IDF特征结合使用，处理流程包括文本预处理、TF-IDF向量化、模型训练和评估。主要优点包括实现简单、训练速度快，但存在特征独立性假设过强的问题。常见变种有多项式、伯努利和高斯朴素贝叶斯，适用于不同类型的数据特征。
2025-08-08 14:41:20
782
原创 什么是自回归，自编码
自回归和自编码是两种重要的深度学习模型架构。自回归模型通过历史数据递归预测序列的下一个值，适用于时间序列预测和文本生成等任务，如GPT模型；而自编码器通过编码-解码结构学习数据的低维表示，用于数据压缩、去噪和特征提取等无监督任务。两者的核心区别在于：自回归专注于序列生成，依赖历史输出；自编码则侧重数据重构，通过潜在表示还原输入。自回归生成速度慢且误差会累积，自编码可能存在重构不完整的问题。两者各有所长，适用于不同的应用场景。
2025-08-08 11:40:44
673
原创 PPO和 GRPO
PPO和GRPO是强化学习中两种重要的策略优化算法。PPO通过剪切机制限制策略更新幅度，在保证稳定性的同时提高训练效率，适用于大规模任务。GRPO作为PPO的扩展，引入KL散度约束提供更灵活的策略更新方式，具有更强理论支持，适合复杂环境。两者核心思想相似，但PPO更简洁高效，GRPO则能适应更高要求的优化场景。
2025-08-08 06:59:49
999
原创 补充：SwiGLU激活函数
SwiGLU是一种改进型激活函数，通过结合线性变换和Sigmoid门控机制，增强了模型的非线性表达能力。相比ReLU和GELU，它能动态控制信息流动，缓解梯度消失问题，在Transformer、NLP等复杂任务中表现优异。但计算开销较大，对超参数敏感，适合高复杂度任务而非简单场景。SwiGLU通过灵活的门控机制提升了深度学习模型的性能，成为处理复杂数据的有力工具。
2025-08-08 00:41:27
1048
原创 Tool Learning的基本概念及应用
工具学习（Tool Learning）是机器学习领域的新兴方向，指智能体通过调用外部工具（如计算器、API、数据库等）来增强任务执行能力。其核心在于学习工具选择、交互和协作策略，主要应用于智能助手、自动化任务和复杂决策系统。关键技术包括工具适配、交互学习和多工具协同，但也面临泛化性、兼容性和效率等挑战。实际应用中已用于搜索引擎优化、自动驾驶规划等领域，展现了扩展AI能力边界的重要潜力。
2025-08-07 20:31:03
645
原创 归一化RMSNorm详解
摘要：RMSNorm是一种基于均方根（RMS）的归一化技术，相比传统的LayerNorm和BatchNorm更简洁高效。它仅计算输入的RMS值进行归一化，避免了方差计算的偏差问题，尤其适合小批量数据和变长序列任务（如NLP）。RMSNorm在Transformer等模型中表现优异，计算更稳定且不依赖批量大小，但在需要均值归一化的任务中可能受限。总体而言，RMSNorm为深度学习提供了一种更轻量、更鲁棒的归一化选择。
2025-08-07 18:11:21
427
原创 RoPE位置编码
RoPE是一种新型位置编码方法，通过旋转词向量来编码位置信息，相比传统正余弦编码能更高效处理长序列并捕捉相对位置关系。其核心思想是利用复数平面旋转变换，将位置信息嵌入词向量旋转角度中。RoPE在GPT系列等Transformer模型中表现优异，尤其擅长长文本建模，但会略微增加计算复杂度。该方法为序列建模提供了更灵活有效的解决方案，有望成为处理长文本任务的标准位置编码方式。
2025-08-07 17:49:46
557
原创 CrewAI ——构建多智能体协作的框架
CrewAI是一个多智能体协作框架，通过协调多个智能体在动态环境中合作完成复杂任务。其核心思想包括智能体分工、信息共享、动态任务分配和通信协调机制，适用于自动驾驶、机器人团队、智能制造等场景。技术实现结合多智能体系统、强化学习和博弈论，具有资源高效利用、灵活适应性强等优势，但也面临协调复杂性、通信成本等挑战。该框架显著提升了复杂任务的处理效率和系统鲁棒性。
2025-08-07 17:36:43
573
原创 补充一种激活函数：GeGLU
GeGLU（GatedGaussianLinearUnit）是一种新型激活函数，结合了门控机制和高斯分布特性，在Transformer等深度学习模型中表现出色。它通过Sigmoid门控和GELU激活的融合，显著提升了模型的非线性建模能力和梯度流动性，有效缓解了梯度消失问题。相比ReLU和GELU，GeGLU在复杂任务（如NLP、图像识别）中表现更优，但存在计算复杂度较高、对超参数敏感等局限。该激活函数特别适合需要强大表达能力的深度网络，尽管可能需要更多计算资源和调优工作。
2025-08-07 17:25:03
721
原创 BPE（Byte Pair Encoding）压缩算法讲解
BPE（字节对编码）是一种基于统计的子词分词算法，通过合并高频字符对构建紧凑词汇表，广泛应用于NLP任务。其核心优势在于处理未登录词和减小词汇量，适用于机器翻译、语言建模等场景。BPE先将文本拆分为字符，迭代合并高频字符对形成子词单元，直到达到预设词汇量。相比传统分词，它能更好处理稀有词，但可能产生过度碎片化问题。Python的subword-nmt库提供了便捷实现方式。尽管BPE在语义捕捉方面存在局限，仍是当前主流分词方法之一，被BERT、GPT等预训练模型广泛采用。
2025-08-07 16:49:51
742
原创 NLG（Natural Language Generation）自然语言生成
自然语言生成（NLG）是NLP领域的重要技术，旨在将结构化或非结构化数据转化为符合语法和语义的自然语言文本。其核心任务包括文本生成、摘要生成、对话系统生成和数据到文本转换。NLG工作流程分为内容规划、句子规划、语言生成和后处理四个阶段。实现方法主要有基于模板、规则和深度学习（如Seq2Seq、Transformer）三类，各具优缺点。NLG广泛应用于自动摘要、智能客服、报告生成等领域，但仍面临上下文理解、语义多样性、生成质量和数据依赖等挑战。随着深度学习发展，NLG展现出巨大潜力，但需持续优化以提升生成质量
2025-08-07 16:44:29
422
原创 NLU（Natural Language Understanding，自然语言理解）
自然语言理解（NLU）是NLP的核心任务，旨在让计算机理解人类语言并提取结构化信息，主要任务包括文本分类、命名实体识别、情感分析等。NLU技术从早期基于规则的方法发展到统计模型（如CRF），再到当前主流的深度学习模型（如BERT、GPT），通过预训练和微调显著提升性能。NLU广泛应用于搜索引擎、智能客服、社交媒体分析等领域，帮助机器更精准地处理复杂语言需求，推动人机交互的智能化发展。
2025-08-07 16:43:08
719
原创 deepseek-v3中的MTP思想详解
DeepSeek-V3采用基于匹配对的训练方法（MTP）优化搜索引擎性能，通过对比查询与相关/不相关文档的匹配关系，提升结果准确性。MTP利用对比学习强化模型区分能力，适用于搜索、推荐及问答系统，但面临负样本选择、计算成本等挑战。相比传统单一评分方法，MTP在长尾查询和模糊匹配中表现更优，但需平衡训练效率与标注成本。
2025-08-05 17:40:29
948
原创 ChatGPT以及ChatGPT强化学习步骤
ChatGPT是OpenAI开发的对话型AI模型，基于GPT-3.5/GPT-4，具备自然语言处理和多轮对话能力。其核心技术RLHF（强化学习与人类反馈）通过三个关键步骤优化模型：预训练、收集人类反馈（评分/排名）、使用PPO算法进行强化学习微调。RLHF使ChatGPT能理解上下文、调整回复风格、提高生成质量，同时增强可控性、流畅性并减少偏见。这种结合人类评估的强化学习机制，使ChatGPT能持续优化对话表现，成为接近人类交流水平的AI系统。
2025-08-05 16:46:28
1452
原创 什么是sparse attention
稀疏注意力(SparseAttention)是提升Transformer长序列处理效率的关键技术，通过选择性保留部分注意力连接降低标准稠密注意力的计算复杂度。主要方法包括局部窗口、稀疏全局、跳跃式和随机连接等模式，被Longformer、BigBird等模型采用。相比全连接注意力，稀疏注意力显著减少内存占用和支持长序列处理，但存在信息丢失风险且训练难度较大。该技术已成为高效Transformer架构的核心组件，适用于需要处理超长文本等特定场景。
2025-08-05 16:37:43
797
原创 GPT-1、GPT-2、GPT-3 的区别和联系
GPT-1、GPT-2 和 GPT-3 是 OpenAI 推出的三代生成式预训练语言模型，它们在架构上都采用 Transformer 解码器，具备单向语言建模能力。GPT-1 奠定了“预训练 + 微调”的范式；GPT-2 在模型规模上扩大十倍，显著提升生成质量；GPT-3 参数量跃升至 1750 亿，引入了 In-Context Learning，实现了强大的零样本和少样本泛化能力。三者的核心联系在于持续扩大模型规模与训练数据，推动了模型能力的非线性跃升，应用方式也从依赖微调过渡到 prompt 控制。GP
2025-08-05 16:31:51
945
原创 agent自主智能体的action行动中使用的RPA是什么
RPA（机器人流程自动化）是Agent智能体实现"动手能力"的关键工具，能够模拟人类操作完成网页浏览、表单填写等重复性任务。在Agent系统中，RPA作为执行组件，负责具体操作实施，而LLM则承担决策规划功能。其特点是通过图形界面控制实现自动化，适用于企业办公、数据收集等多种场景，但相比API调用更易受界面变化影响。在Agent框架中，RPA通常通过专用工具或脚本集成，使智能体不仅具备思考能力，还能实际执行界面操作任务，成为连接数字世界与现实操作的重要桥梁。
2025-08-05 16:06:16
527
原创 GPTs和AssistantAPl和Alagent的区别联系
本文系统分析了GPTs、AssistantAPI和AIAgent三者的区别与联系。GPTs是ChatGPT平台内的可视化智能体构建工具，适合非开发者快速创建问答助手；AssistantAPI是OpenAI提供的编程接口，支持开发者构建可部署的AI应用；AIAgent框架则适用于复杂任务调度和多智能体协作。三者在技术栈上存在递进关系：GPTs基于AssistantAPI封装，而Agent框架可调用AssistantAPI作为"大脑"。选择依据主要取决于使用场景：轻量级问答用GPTs，应用开
2025-08-05 16:02:08
710
原创 不使用词向量进行张量转换，给定两段文本，如何判断其相似性
本文介绍五种不依赖词向量的传统文本相似度算法：1)编辑距离计算字符操作次数；2)Jaccard相似度基于词集交并比；3)TF-IDF余弦相似度使用词频统计；4)N-Gram匹配连续片段重合度；5)SimHash适合大规模文本去重。这些方法通过字符、词频或集合运算实现相似度评估，虽无法理解语义，但在处理顺序变化、错别字及大规模文本时各具优势，编辑距离和N-Gram精度中等，Jaccard和SimHash速度更快但精度较低，TF-IDF是常见统计方法。
2025-08-05 09:35:33
336
原创 有了GPTs为什么还要选用AssistantAPI
GPTs和AssistantAPI定位不同，GPTs适合零代码用户进行轻量级定制，而AssistantAPI为开发者提供高度自由的编程接口。GPTs局限在于无法控制用户行为、接入外部系统、文件处理受限；AssistantAPI则支持自定义业务流程、数据库集成、多平台部署。工程师学习AssistantAPI可构建独立AI产品，实现企业级应用集成。两者互补：GPTs是ChatGPT内的简易工具，AssistantAPI则是AI应用开发的核心引擎。（149字）
2025-08-04 15:54:42
294
原创 Assistant API——构建基于大语言模型的智能体应用
AssistantAPI是OpenAI为开发者提供的智能助手构建接口(153字)。该API封装了GPT模型能力，支持多轮对话、工具调用和文件处理等高级功能。核心包含Assistant(智能体)、Thread(会话线程)、Run(执行过程)等概念，可自动管理对话上下文和工具调用流程。相比传统ChatCompletionsAPI，它更适用于构建具备持久记忆和复杂交互的AI系统。典型应用包括文档问答、行业顾问、检索增强生成等场景。开发者通过创建Assistant、Thread和Run三个主要步骤即可快速构建
2025-08-04 15:53:11
1211
原创 GPTs——定制的小型智能体
GPTs是OpenAI在ChatGPT中推出的可定制AI助手，允许用户基于GPT模型创建专属应用。用户可通过设定指令、行为风格、上传知识文件（如PDF、CSV）及集成工具（浏览器、代码解释器、API等），打造适用于特定场景（如法律咨询、编程助手）的AI。与基础GPT模型相比，GPTs支持个性化配置、外部功能调用和独立交互入口，无需编程即可通过可视化界面创建。其核心技术结合了SystemPrompt微调、FunctionCall和工具调度，使AI具备“会话+执行+知识融合”的Agent能力。
2025-08-04 15:36:25
1032
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人