- 博客(4)
- 收藏
- 关注
原创 文本分割器
文本分割器是将长文本切分为语义连贯的小段落的工具,主要用于克服大语言模型的上下文限制和提升检索效果。主要分割方法包括:1)基于分隔符的简单分割;2)递归分层分割(主流方法);3)基于语义模型的高级分割;4)针对特定文档结构的专用分割。实践中需设置合理的块大小和重叠量(约10-20%),LangChain等框架提供多种预置分割器如递归字符分割器、令牌分割器等。分割质量直接影响后续处理效果,需根据文本特性选择合适方法,平衡计算成本和语义连贯性。
2025-11-15 11:03:16
1130
原创 示例选择器在 LangChain 框架中的应用
示例选择器是用于大语言模型少样本学习的关键组件,能智能筛选最相关的示例构建提示词。在LangChain框架中,可通过SemanticSimilarityExampleSelector、MaxMarginalRelevanceExampleSelector等实现。实际应用时还可结合专业嵌入模型(如HuggingFace)与大模型API(如DeepSeek),先检索相似示例再生成结果,显著提升任务效果。
2025-11-06 15:22:18
817
原创 在LangChain中使用deepseek模型
介绍了如何配置和使用DeepSeek API的完整流程。首先详细说明了获取API密钥的步骤:注册账号、创建API密钥并妥善保存。其次讲解了测试网络连接和设置环境变量的方法。接着展示如何查询当前可用的DeepSeek模型。然后指导如何在LangChain中通过ChatOpenAI组件集成DeepSeek模型,包括初始化模型和发送请求。最后提供了一个完整的LangChain实例,演示如何通过模板生成提示词并获取模型响应。整个过程涵盖了从API密钥获取到实际应用的全部环节。
2025-10-15 18:30:53
964
原创 PowerShell安装pyenv-win
PowerShell是Windows系统的命令行工具和脚本环境,用于自动化管理任务。系统预装所有新版本Windows,可通过搜索栏快速启动。安装第三方工具(如pyenv-win)时可能遇到执行策略限制,可通过Get-ExecutionPolicy查看当前策略,使用Set-ExecutionPolicy调整(如RemoteSigned或Unrestricted)。注意:更改策略需管理员权限,可能带来安全风险,企业环境中建议咨询IT部门。安装完成后可通过pyenv --version验证。
2025-10-14 16:53:34
688
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅