前提python语言基础,目前AI开发生态以python为绝对的主流
下面是几个月来对AI应用开发的学习内容和自己的一些思考,大模型应用开发我认为有一个很明显的特征,入门易,深入难
因为应用开发说白就是利用现有开源的强力模型去让他帮我们解决业务,没有本地模型从技术角度也就是调用大模型API然后在上面搭积木而已,但是核心其实在于业务抽象和精细化处理,所以上手容易,但把业务开发达到生产应用级别还是有难度的
如果有学习python的需求,可以参考本人另外一篇文章,快速入门 python学习目录
企业AI应用方案
RAG检索增强
解决的问题:
- 模型没有答案的情况下提供虚假信息
- 当用户需要特定的当前响应时,提供过时或通用的信息
- 数据来源从非权威来源创建响应
- 降低知识遗忘风险
RAG技术概述
RAG的核心原理与流程,这是一个最简单的rag系统的流程
RAG的挑战与优化
- RAG在实际应用中的问题与解决方案
- 如何优化RAG系统的响应速度与准确性
Embedding Model选择
- 嵌入表示的基本概念 什么是嵌入向量?
- 如何将数据转化为向量表示
- 嵌入的工作原理:如何通过神经网络生成低维向量表示
- 嵌入空间的结构与语义:如何通过向量之间的距离表示相似性
常见嵌入技术
- 词嵌入:Word2Vec、GloVe、FastText等经典方法
- 文本嵌入:BERT、GPT等预训练模型的嵌入
- 图像和音频的嵌入表示
- 特征嵌入:如何将结构化数据转换为嵌入表示
Vector Store向量存储
- 向量数据库的基本概念与作用:如何存储和检索嵌入向量
- 常见的向量数据库:FAISS、Chroma、Milvus、Pinecone等
- 向量数据库与传统数据库的区别与优劣对比
使用向量数据库进行相似性检索
- 如何利用向量数据库进行高效的相似性检索:KNN(K最近邻)算法的应用
- 结合嵌入表示与向量数据库,实现大规模数据的快速搜索与推荐
- 用Chroma进行大规模文本或图像检索
RAG系统的细节调优与常见问题解决
- 提升召回率的方法
- 生成模型的增强
- 数据质量与知识库管理
- 系统性能与响应速度
- 准确性与一致性保障
- 文档解析方案
- 知识切片方案/Chunks/篇章工具/NSP训练
- 有效提升检索召回率方案
- 检索结果重排序 Reranker 模型
RAG开发框架推荐
二开平台:ragFlow、anything-llm、FastGPT
代码框架:LlamaIndex、LangChain、
LLM模型训练与微调应用
GPU强需求,数据强需求,小团队使用难
解决问题:
- 模型本身无法理解垂直行业的领域概念(如医疗术语、法律条文)
- 对于模型无法理解垂直行业知识和无法满足特定场景特征需求(比如如果是客服语气要时刻幽默、需要模型输出指定结构化数据)
核心社区
Hugging Face/ModelScope 按心组件使用
Ollama/vLLMDeploye 模型部署推理
Datasets 数据工程
DeepSpeed分布式训练/Lama Factory/Xtuner
目标:根据特定任务需求微调播直模型(专业铜型)
SFT 微词训练/ LORA/QLORA
- 微调的概念与优势
- 全靠微词/地星微满/局部微调
- 监督微调:对话微调、指令微调、领域适配微调
- 理解LoRA低税分解/LoRA微调实战/多适配账加载与切换 透彻分析模型训练时里存占用问题
微调应用
模型合并、打包、部署\HF转GOUF
4bit量化与CLORA 模型训练
模型蒸馏原理和实践
模型评估
主观评估
横型评估方法和最佳实践/OpenCompass
模型评估标准
准确率、精确率、召回率、F1分数
其他评估标准:AUC,ROC由线等
模型微调框架
有机器学习基础的可以从Pytorch开始学起,这是主流模型的底层框架
LLaMa-Factory、unsloth
应用场景
- 基于Bert的中文评价情感分析(分类任务)
- 定制化模型输出(生成任务)
- 基于特定数据集训练情绪对话模型
remark:通过梯度不断调整模型参数,对比结果,过程堪比炼丹
Agent智能体应用
解决问题:
- 模型无法独立调用工具自主完成任务
- 使用Agent构建新一代Al智能系统(AaaS)
Agent智能体原理深度剖析
1.智能体的定义与作用
- 什么是智能体?智能体在大模型中的应用
- 智能体的基本架构与功能
2.智能体与大模型的结合
- 如何结合大模型实现高效的决策与任务执行
- 智能体在自动化与机器人中的应用
3.智能体系统的挑战与优化
- 智能体系统中的常见问题与优化策略
开发框架
工作流模式
- Dify、Coze快速构建智能体应用
- LangChain、LangGraph框架深度学习
自动编排模式
LangManus、OpenManus
落地场景
基于Dify、Coze快速构建智能体应用(逻辑较简单,开发量小)
基于LangGraph构建复制多代理应用
其他扩展内容
mcp协议(认为未来智能体扩展的方向)
AI大模型的价值研究
1、解析非结构化数据,构建新的价值点
2、基于现有结构化数据的工作流程,提升效率
AI应用商业模式思考
- 面向ToB的软件,针对公司、部门业务流程SOP,整理出能够被Agent应用的场景,然后梳理成Agent可实现的方案
- 面向比较垂直的专业人群,提供偏专业的Agent工具,比如针对程序员有Cursor等代码生成,针对UI设计师有Liblib等AI修图工具,减少工作量
- 直接提供服务,开发好合适的软件,但是还达不到可直接商用的地步,然后通过AI软件+部分人工直接交付给客户结果
我觉得现如今AI应用开发的商业模型的理解是,和10年前的互联网太像了,不做基础模型做应用就是没有技术门槛和护城河,谁都能做,重要的是谁先把商业模式跑通和保证好用户粘性…