大模型讲师叶梓培训提纲《基于知识库的大模型应用》

想要掌握如何将大模型的力量发挥到极致吗？叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。

1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。

CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987

视频号（直播分享）：sphuYAMr0pGTk27  抖音号：44185842659

​

叶梓，上海交通大学计算机专业博士毕业，在校期间的主研方向为数据挖掘、机器学习、人工智能。毕业后即进入软件行业从事信息化技术相关工作；负责或参与了多项国家级、省市级人工智能及大数据项目的建设工作。在人工智能和大数据应用等方面都有着丰富的经验。

1、企业级知识库建设与应用

• 知识库建设步骤
  • 数据收集与整理：从企业文档、FAQ中提取知识
  • 知识表示：表格知识、向量表示、树状结构、知识图谱等
  • 知识库的使用
• 知识库与大模型的结合
  • 知识库如何增强大模型性能
  • 实时知识更新与模型同步
  • 知识图谱介绍（原理、设计与实现）
  • KAG应用

2、RAG技术实践

• RAG技术概述
  • RAG（Retrieval-Augmented Generation）的定义与优势
  • RAG的应用场景：问答系统、文档分析
  • RAG应用的评价方式与指标
• 词嵌入技术
  • 词嵌入与语义空间
  • 高维向量的快速模糊匹配
  • 向量数据库
  • 混合检索与多路召回
  • Rerank
• RAG实战技巧
  • 基模选择（qwen、DS、GLM、书生等）
  • RAG与微调的适用场景
  • 数据准备技巧（OCR、理解表格、半结构化）
  • chunk技巧（摘要、重叠、长度选择、构造问题）
  • Agentic chunking
  • 查询扩展与改写（指代消解、HyDE）
  • 向量数据库使用技巧（标题、正负向情感）
  • 提示词优化技巧：（RTGO、Costar、CRISPE、BROKE等）
  • 多轮问答技巧（任务框架、信息提取、追问策略、可信度）
• RAG（Agent）工具
  • Dify：低代码ai开发平台
  • Coze：大量的agent可供选择
  • Agentic RAG工具介绍

3、RAG案例分析

• • 通用知识库问答场景（协同办公）
  • 复杂知识库问答场景（临床辅助决策）
  • 基于语义和空间的聚类（市民热线多诉合并）
  • 术语提取场景（中医知识图谱构建）
  • 多轮对话场景（酒店客服）
  • 综合应用（自动生成报告文档）

4、多模态大模型原理与实践

• 基于Transformer的视觉模型
  • ViT、Beit
  • CLIP与BLIP
• 多模态大模型介绍
  • qwen_vl_chat
  • Yi_vl_chat
  • LLaVa

• • 数据集准备：标注与预处理
  • 模型训练与优化：超参数调整、正则化技术
• 多模态大模型的训练
  • 训练工具简介
  • 多模态数据集准备：标注与预处理
  • 模型训练与优化：超参调整等