自然语言处理实战入门【Generative AI重制版】
文章平均质量分 92
本教程力求帮助同学们对NLP领域整体概况有一个明晰的认识,并选择AIGC, 爬虫,汉语分词,可视化,文本分类等几个常见的应用领域和场景进行基于python语言的实战化入门介绍,实现直击技术核心,快速落地应用,理解算法原理的目的!
shiter
CSDN博客专家,人工智能与大数据领域优秀创作者,累计近500W人次访问。 熟悉自然语言处理(NLP)、大数据(Spark 、Elasticsearch)、数据分析(Scala,Python),计算机视觉(OpenCV、立体匹配)等领域的研发工作。世界500强,高级算法工程师, 曾参与并负责国家级大数据项目,负责大健康平台相关开发与管理工作,负责金融行业AI与大数据平台产品设计、开发与落地。编程不仅仅是技术,还是艺术!talk is cheap,show me the code!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
《自然语言处理实战入门》 ---- 【Generative AI重制版】总目录
随着人工智能的快速发展,自然语言处理和机器学习技术的应用愈加广泛。为使大家对该领域整体概况有一个系统、明晰的认识,同时入门一些工程实践,也借CSDN为NLP的学习,开发者们搭建一个交流的平台。我希望能够通过这个专栏《自然语言处理实战入门》和广大NLP爱好者一起学习自然语言处理技术,分享学习资料,打破NLP 技术 的实战应用壁垒。................................................原创 2020-12-03 10:36:16 · 6222 阅读 · 1 评论
-
基于大语言模型的端到端多智能体机器学习自动化系统--AutoML Agent 开发:MLZero & AutoGluon Assistant 技术报告
本报告综合分析了 MLZero 研究论文及其通过 AutoGluon Assistant 框架的实现,并将其置于 LLM 智能体系统和新兴模型上下文协议(MCP)标准的宏观背景下。MLZero 通过在多模态数据上实现无需人工干预的真正端到端自动化,代表了 AutoML 领域的重大飞跃。92.0% 成功率在多模态 AutoML 智能体基准测试中,超越竞争对手263.6%MLE-Bench Lite 获得 6 枚金牌,在解决方案质量和效率上全面领先即使使用8B 参数的小模型。原创 2025-12-09 20:23:43 · 50 阅读 · 0 评论 -
基于企业级智能体的复杂系统构建、质量审查与架构演进综合技术报告【修订版】
本报告提出了一套基于大型语言模型(LLM)的智能软件开发系统,覆盖开发-审查-优化全流程。原创 2025-12-05 00:57:10 · 76 阅读 · 0 评论 -
基于企业级智能体的复杂系统构建、质量审查与架构演进综合技术报告
本报告旨在构建一个基于大型语言模型(LLM)的、覆盖“开发-审查-优化”全流程的复杂系统工程化方案。报告在前期提出的多智能体协作与上下文工程基础上,重点补充了业界领先的、聚焦于代码质量审查与架构守护的企业级开源智能体与工具链。方案深度融合了微软、谷歌、蚂蚁集团等公司的工程实践,形成一套从MVP快速构建到系统持续演进的完整、严谨、可落地的技术体系,以系统化解决代码生成中的反复调试与LLM“遗忘”问题,并保障产出的长期质量与架构合理性。为确保方案的工程化水准与长期可维护性,本节聚焦由顶尖科技公司开源并经过内部大原创 2025-12-05 00:53:14 · 70 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 17 章:Reasoning Techniques
将复杂问题分解为多个子问题,从而提升模型在数学、逻辑、常识推理等任务上的表现。,形成“思考-行动-观察”循环,使模型具备动态交互能力。3. Workflow-Level Prompt优化。,通过生成并执行代码来完成复杂计算或逻辑任务。1. Block-Level Prompt优化。:CoT 是一种提示工程方法,:ToT 是 CoT 的扩展,,并通过评估机制选择最优路径。2. Workflow拓扑优化。,即使模型较小也能超越大模型。,避免单一模型的偏差与局限。:模型在生成内容后,原创 2025-11-29 10:15:12 · 171 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 16 章:Resource-Aware Optimization
MLPerf-Agent: 一个专门用于 Agentic 任务的 benchmark,正在由 MLCommons 讨论草案,预计 2026-Q2 发布,将首次引入 “dollar-cost-accuracy” 作为官方指标。已在 Google TensorEdge 原型中验证 2.3× 能耗节省。把“Router + Critic”建模成多臂老虎机,使用 LLM 输出 logits 作为 arm 置信度,实时更新 Thompson 采样分布,预计再降 10-15% 总成本。把“资源”量化成三维向量。原创 2025-11-26 19:10:54 · 76 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 15 章:Inter-Agent Communication(A2A)
以上引用均可公开访问,版本号与发布日期已核对至 2025-11-24。,未做任何修改,用于展示“Agent 如何暴露为 A2A 服务”。单 Agent 上下文扩展。:Part 类型可标记。工具/记忆/数据统一接口。跨 Agent 任务编排。Delegate/协商。原创 2025-11-24 20:02:54 · 114 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 14 章:Knowledge Retrieval (RAG)模式
RAG(Retrieval-Augmented Generation)通过引入外部知识检索机制,使大模型在生成回答前,先从知识库中获取相关上下文,从而生成准确、实时、可验证的内容。用户提出问题系统进行语义搜索,从知识库中检索相关内容将检索结果与用户问题合并,构建增强提示(augmented prompt)LLM 基于增强提示生成回答解决 LLM 知识截止时间问题降低“幻觉”风险(hallucination)支持引用来源,提升可信度可接入私有或专有数据(如企业内部文档)原创 2025-11-23 20:12:27 · 66 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 13 章:Human-in-the-Loop(HITL)模式:人类智能与人工智能的战略性融合
组件描述实施示例人工监督通过日志、实时监控面板或审计跟踪持续监控AI智能体性能和输出,确保遵守规范并防止不良结果金融合规官员监控AI交易算法是否违反政策干预与纠正当AI智能体遇到错误或模糊场景或置信度阈值时,人工操作员可以纠正错误、提供缺失数据或引导智能体的机制医疗诊断AI标记置信度低的病例供医生审查人类反馈学习系统收集人类判断以优化AI模型,在**基于人类反馈的强化学习(RLHF)**等方法中,人类偏好直接影响智能体的学习轨迹通过用户评分和纠正改进聊天机器人决策增强。原创 2025-11-22 23:53:01 · 52 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 12 章:异常处理与恢复(Exception Handling and Recovery)
本章系统阐述如何在 Agent 架构内建“免疫体系”,使系统在工具失效、网络抖动、数据污染、外部服务宕机等不可预知故障下,仍能保持。轻量级异常→Agent 自愈;中量级→上报运维平台;重量级→熔断+人工 On-Call。”三层防线,并给出可落地的设计模式、代码模板与领域案例。如何实现“精准定位→兜底区域→结果封装”的异常链。以下代码直接摘自原文,未做任何修改,展示。面向真实世界部署的 AI 代理,:把“异常”当作数据——,形成持续学习的闭环。原创 2025-10-29 23:00:50 · 80 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 11 章:目标设定与监控模式(Goal Setting and Monitoring)
把“高层意图 → 可度量目标 → 持续监控 → 反馈修正”固化到代理架构里,从而把单次问答式的“反应型”系统升级为“目标驱动型”系统。利用强化学习(RLHF/RLAIF)让代理自动学出“高层稀疏奖励 → 低层稠密子目标”的映射,减少人工编写 SMART 指标的成本。将“可执行规范(如 TLA+、Lean)”作为目标函数,一旦监控器发现轨迹违反时序逻辑公式,立即触发回滚,实现“零幻觉”保障。在 TEE(可信执行环境)中运行监控器,确保目标函数本身不被恶意代理篡改,形成“监控器监控监控者”的递归信任根。原创 2025-10-23 19:28:36 · 84 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 10 章:Model Context Protocol (MCP)模型上下文协议
【代码】Agent 开发设计模式(Agentic Design Patterns )第 10 章:Model Context Protocol (MCP)模型上下文协议。原创 2025-10-23 11:32:50 · 55 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第9章: 学习与适应 Learning and Adaptation
其中 ( r_t(\theta)=\frac{\pi_\theta(a|s)}{\pi_{\theta_{\text{old}}}(a|s)} ) 为概率比,(\hat{A}_t) 为优势函数估计。涵盖从经典机器学习范式(监督/无监督/强化学习)到前沿自改进架构(如SICA、AlphaEvolve)的完整技术光谱,并首次披露。将策略更新约束在“信任区域”,避免一次梯度步导致策略崩塌,实验显示在连续控制任务中样本效率提升。其中 (y_w,y_l) 为偏好对,(\beta) 为温度超参。内达到与PPO相同的。原创 2025-10-22 00:31:08 · 106 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第8章: 智能体记忆管理(Memory Management)
事实校验:以上功能均来自官方文档与 2025 Q3 最新 release note,接口无 breaking change。原创 2025-10-20 22:48:44 · 333 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 7 章:多智能体协作(Multi-Agent Collaboration)
原文“shared ontology”容易被误解为“全局统一本体”。帮助理解关键 API 行为,未做任何逻辑改动。以下代码与原文 100 % 一致,return + 冲突解析。原创 2025-10-19 23:47:24 · 120 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 6 章:规划设计模式 Planning
维度规则例外/边界何时用 Planning请求 >1 步且存在依赖步骤完全已知→工作流引擎LLM 作用生成 plan 草案需外部验证器防幻觉失败模式重规划开销指数级上升设最大深度/预算阈值。原创 2025-10-14 00:00:53 · 138 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 5章:Tool Use (Function Calling) 工具调用模式
Tool Use = “给模型手、脚和外部记忆”:通过标准化描述+调用闭环,让大语言模型突破静态语料限制,真正实时、可验证、可行动。原创 2025-10-13 00:26:25 · 124 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 4 章:反思设计模式
文献综述:反思机制确保摘要覆盖关键研究成果,避免选择性偏差实验报告:Critic检查方法描述的完整性和结果解释的逻辑一致性。原创 2025-10-13 00:12:08 · 121 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 3 章:并行化模式
在前几章中,我们探讨了用于顺序工作流的提示链模式,以及用于动态决策和在不同路径间转换的路由模式。虽然这些模式至关重要,但许多复杂的智能体任务涉及多个可以同时执行而非顺序执行的子任务。这正是。原创 2025-10-10 23:45:34 · 225 阅读 · 1 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 2 章:路由模式
在代码中实现路由,涉及定义可能的路径以及决定选择哪条路径的逻辑。像LangChain和LangGraph这样的框架提供了针对此的具体组件和结构。LangGraph 基于状态的图结构尤其便于直观地可视化和实现路由逻辑。这段代码展示了如何使用LangChain和谷歌的生成式AI构建一个简单的代理式系统。它设置了一个“协调器”,根据用户请求的意图(预订、信息查询或不明确),将请求路由至不同的模拟“子代理”处理程序。原创 2025-10-10 01:02:48 · 203 阅读 · 0 评论 -
Agent 开发设计模式(Agentic Design Patterns )第 1 章:提示词链
核心思想:复杂任务不应依赖单一提示。通过“分而治之”,我们可以引导大语言模型(LLM)像人类一样逐步推理、层层递进。提示词链(Prompt Chaining),有时也称为管道模式(Pipeline pattern),是利用大型语言模型(LLM)处理复杂任务时的一种强大范式。其核心思想是将一个复杂的、多步骤的任务分解为一系列更小的、更易管理的子任务,并通过顺序执行的方式完成整个流程。原创 2025-10-10 00:10:22 · 621 阅读 · 0 评论 -
大语言模型 LLM 通过 Excel 知识库 增强日志分析,根因分析能力的技术方案(8):使用小LLM模型在消费级PC 上实现基于Excel 或表格类知识库的问答(ollama最速解决方案)
ExcelRAG 类 = SentenceTransformer 建索引 + FAISS 检索 + Ollama 生成GGUF 适合 Windows 离线 POCVLLM 适合 Linux 高并发Qwen3-4B 长上下文可秒答小表大表切向量 RAG!下面把封装成健壮的 CLI 类QueryKB全程 try-catch + 日志离线依赖检查(模型文件、Ollama 服务)重试机制(网络抖动)参数化(模型名、top-k、重试次数)Windows / Linux 通用直接复制即可跑。原创 2025-09-21 14:39:01 · 168 阅读 · 0 评论 -
大语言模型 LLM 通过 Excel 知识库 增强日志分析,根因分析能力的技术方案(7):使用小LLM模型在消费级PC 上实现基于Excel 或表格类知识库的问答(vllm弱智到根本CPU用不成!)
WSL 的 lscpu JSON 又截断了→要么要么升级 ≥ 0.11.0→立刻跑通!原创 2025-09-21 03:09:26 · 287 阅读 · 0 评论 -
大语言模型 LLM 通过 Excel 知识库 增强日志分析,根因分析能力的技术方案(6):vLLM 为什么能够成为企业级推理事实上的标准?
把 KV-Cache 看成“虚拟内存”,用操作系统页表思想管理 GPU 显存,从而。原创 2025-09-20 16:41:37 · 208 阅读 · 0 评论 -
大语言模型 LLM 通过 Excel 知识库 增强日志分析,根因分析能力的技术方案(5):本地Excel知识库搭建:RAG方案 vs One-shot 提示词方案
下面给出一份“可直接跑通”的完整技术文档,已根据你原始草稿逐行校验、补坑、加注释,并给出:4 准备 Excel(示例)文件:工作表名默认 运行:6 本地大模型接入(Ollama 为例)安装 Ollama(Windows 双击即可)官网:https://ollama.ai/download拉取 3B 中文量化模型(< 2 GB)启动后台服务(默认 11434 端口)7 问答脚本()运行:8 常见报错速查报错原因解决试图编译 vLLM原创 2025-09-14 23:54:18 · 193 阅读 · 0 评论 -
AI agent开发与大模型工程师面试复习纲要与高频面试题答案(4)-- AI agent系统设计与项目实践(深度原理与架构)
基于你提供的简历描述和行业常见考点,我为你整理了一份AI Agent、大模型(LLM/VLM)及RAG技术的笔试面试复习资料,包含高频问题解析和GitHub资源链接。资料主要参考了相关的技术博客、面试题解析和开源项目,希望能帮助你系统性地准备。希望这份详细的资料和资源汇总能对你的复习备考有所帮助!原创 2025-08-23 13:10:11 · 212 阅读 · 0 评论 -
AI agent开发与大模型工程师面试复习纲要与高频面试题答案(3)-- 检索增强生成(RAG)与多模态优化
基于你提供的简历描述和行业常见考点,我为你整理了一份AI Agent、大模型(LLM/VLM)及RAG技术的笔试面试复习资料,包含高频问题解析和GitHub资源链接。资料主要参考了相关的技术博客、面试题解析和开源项目,希望能帮助你系统性地准备。希望这份详细的资料和资源汇总能对你的复习备考有所帮助!希望这份详细的资料能帮助你全面准备。原创 2025-08-23 13:07:00 · 212 阅读 · 0 评论 -
AI agent开发与大模型工程师面试复习纲要与高频面试题答案(1)-- 大语言模型(LLM)与视觉语言模型(VLM)
基于你提供的简历描述和行业常见考点,我为你整理了一份AI Agent、大模型(LLM/VLM)及RAG技术的笔试面试复习资料,包含高频问题解析和GitHub资源链接。资料主要参考了相关的技术博客、面试题解析和开源项目,希望能帮助你系统性地准备。希望这份详细的资料和资源汇总能对你的复习备考有所帮助!希望这份详细的资料能帮助你全面准备笔试和面试。原创 2025-08-23 13:06:01 · 184 阅读 · 0 评论 -
AI agent开发与大模型工程师面试复习纲要与高频面试题答案(2)-- AI Agent 系统
参考答案MADDPG (Multi-Agent Deep Deterministic Policy Gradient) 和 QMIX 都是多智能体强化学习(MARL)中的集中式训练分布式执行(CTDE)算法,但它们的设计思想和适用场景有所不同。特性MADDPGQMIX核心思想集中式Critic,分布式Actor值函数混合 (Value Decomposition)算法基础动作空间连续离散关键机制Critic在训练时拥有全局信息(包括所有Agent的观测和动作),指导Actor优化;原创 2025-08-23 13:01:15 · 256 阅读 · 0 评论 -
面向智能体的上下文工程:策略、实现与 LangGraph 实践
中文:智能体需要上下文才能执行任务。上下文工程就是在每一步把恰好合适的信息塞进有限的上下文窗口的艺术与科学。本文用「写-选-压-隔」四大策略拆解主流做法,并展示如何用 LangGraph 落地。EN。原创 2025-08-03 23:22:25 · 264 阅读 · 0 评论 -
大语言模型 LLM 通过 Excel 知识库 增强日志分析,根因分析能力的技术方案(4):只要过一遍LLM的简约版本
松散升级版本地知识库方案 核心设计 统一数据加载:支持Excel/CSV/JSON/TXT/SQLite等多种格式,自动转换为DataFrame 灵活查询方式: 精确键值查询 模糊匹配(difflib) 全文检索(SQLite FTS5) 最小依赖:仅需pandas和openpyxl两个第三方库 一次LLM调用:查询结果直接拼入prompt 实现流程 数据加载:通过load_any_source()统一处理不同格式数据源 查询处理:提供三种查询模式: exact:精确匹配 fuzzy:模糊匹配 fullte原创 2025-08-03 00:48:27 · 1965 阅读 · 0 评论 -
如何利用企业内部数据评测大模型的实际表现?
通过以上框架和工具,企业可以系统性地评测大模型的实际表现,并根据结果优化模型部署策略。原创 2025-06-28 17:35:34 · 356 阅读 · 0 评论 -
Prompt Engineering 学习指南:从入门到精通的最佳路径与资源
随着大型语言模型(LLM)能力的飞速发展,Prompt Engineering(提示工程)已成为人与AI协作的核心技能。本报告旨在为不同水平的学习者提供一条清晰、高效的学习路径,整合了当前社区公认的最佳实践和顶级开源资源,帮助您系统地掌握 Prompt Engineering,释放 LLM 的全部潜力。保持好奇心,不断尝试,您将能驾驭语言模型这一强大的工具,创造出前所未有的价值。超越简单的“一问一答”,学习如何将 Prompt Engineering 与外部工具和数据结合,构建强大的 AI 应用。原创 2025-06-16 17:10:39 · 431 阅读 · 0 评论 -
使用AI 生成PPT 最佳实践方案对比
本文介绍了多种AI生成PPT的工具和方案,适合不同需求的用户。原创 2025-05-18 23:31:03 · 935 阅读 · 0 评论 -
机器学习、深度学习解决方案设计方案通用审核流程(solution architect review)
全面、详细且可操作的机器学习/深度学习项目解决方案审查框架中,该框架将作为代码审查的前置步骤。确保项目在进入代码实现阶段之前,其方向、方法和技术选择是正确、合理和完备的。建议在方案评审会议前至少72小时完成文档预审,并结合检查清单(如Notion、Jira等)进行逐项确认。原创 2025-03-23 23:17:46 · 385 阅读 · 0 评论 -
基于小参数量大语言模型(Small Language Models) ---- 在制造业落地降本增效应用:可行性研究初探
小参数量模型是通过模型压缩技术从大型语言模型中提取知识而构建的轻量级模型。常见的模型压缩方法包括剪枝、量化、低秩分解和知识蒸馏等。这些方法能够有效减少模型的参数数量,提高模型的运行效率,使其更适合在资源受限的环境中部署。领域自适应蒸馏+混合专家架构+极致量化。原创 2025-03-16 20:21:31 · 792 阅读 · 0 评论 -
大语言模型进化论:从达尔文到AI的启示与展望
根据查尔斯·罗伯特·达尔文(Charles Robert Darwin)提出进化论的例子。进化论被誉为19世纪自然科学的三大发现之一。事实上,进化论的思想绝非达尔文的原创,但在该思想出现之前,达尔文一直在思考“到底是什么导致了进化?”这个问题,而且读了很多杂七杂八的书。在读《地质学原理》的时候,他受到启发,原来微小的变异可以逐渐累积成巨大的变化(遗传变异);在读《人口学原理》的时候,他意识到,过度繁殖使得空间、食物等对每一个个体来说变得稀缺,而资源的有限性会加速物种之间的斗争(过度繁殖和生存斗争);原创 2025-03-08 00:51:33 · 593 阅读 · 0 评论 -
从技术角度看大语言模型进化技术路线与落地应用详解:未来的最佳实践方向是什么?
动态稀疏注意力(Sparse Attention)混合专家系统(MoE)状态空间模型(SSM)与Mamba架构参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)强化学习驱动的后训练优化(RLHF+)绿色计算与模型压缩合成数据生成(Synthetic Data Generation)知识图谱增强(Knowledge-Enhanced LLMs)跨模态数据对齐(Cross-Modal Alignment)领域定制化基座模型AI智能体(Agent)系统科学发现引擎(AI f原创 2025-03-07 20:20:43 · 402 阅读 · 0 评论 -
使用AI 自动化编程IDE Trae 初探!国产就是好,Chat,Build 两大模式助力程序员生产力飙升
简单的使用 github 账户登录_lang=zh。原创 2025-03-03 16:02:22 · 549 阅读 · 0 评论 -
个人开发者在大模型开发时代最需要学习的技能与资源推荐
随着大型语言模型(LLM)技术的迅速发展,越来越多的个人开发者希望参与到这一前沿领域的探索中来。然而,面对复杂的技术栈和快速变化的最佳实践,找到正确的学习路径显得尤为重要。本报告旨在为个人开发者提供一个全面的学习指南,涵盖从基础理论到实际应用的关键技能,并推荐一系列宝贵的资源。同时,积极参与社区交流,利用开源资源,也是不断提升自我技能的有效途径。对输入数据进行必要的预处理,并对模型输出进行适当的后处理,确保结果的可用性和一致性。根据应用场景的需求选择合适的LLM模型,确保所选模型能满足特定的任务要求。原创 2025-02-09 21:34:12 · 237 阅读 · 0 评论
分享