- 博客(345)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并
使用ollama create命令创建自定义模型llama-3-8B-Instruct 这个名字是自己创建的。
2025-04-29 21:39:19
1302
原创 第二版AI大模型学习路径脑图结构
这部分内容可以再简化一下，或者往浅讲一下只讲概念和演示训练和微调后的效果以及没有训练的效果对比。2.6 基于LlamaIndex框架开发大规模文本搜索和内容推荐系统。2.3 基于LangChain的常用案例实战。2.4 带RAG的Chatbot实战。2.5 LangGraph开发实战。大规模文本数据搜索内容推荐。2.2 自定义组件专题。
2025-04-29 08:40:27
831
原创 大模型应用开发大纲
学习目标：建立对AI和LLM的基础理解，了解主要的机器学习和神经网络模型，掌握API调用方法。学习目标：掌握LangChain的高级工具与RAG 和Agent技术，能够构建复杂的AI应用。学习目标：具备大模型的训练与调优能力，能够开发和优化适用于特定领域的AI模型学习目标：通过企业级真实项目场景落地，锤炼大模型全栈技术应用能力。完成AI应用从策划到开发到落地的全过程。学习目标：通过企业级真实项目场景落地，锤炼大模型全栈技术应用能力。完成AI应用从策划到开发到落地的全过程。
2025-04-22 00:00:03
675
原创 19_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3
GGUF 格式的全名为(GPT-Generated Unified Format)，提到 GGUF 就不得不提到它的前身 GGML(GPT-Generated Model Language)。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。为什么要转换 GGUF 格式？
2025-04-21 07:33:26
968
原创 基于Llama_Index搭建个人知识库
LlamaIndex 是一个用于 LLM 应用程序的数据框架，用于注入，结构化，并访问私有或特定领域数据。LlamaIndex 由Jerry Liu (Twitter: @jerryjliu0)联合创办，并担任CEO。自定义检索中，我们可以通过参数指定查询引擎（Query Engine）在检索时请求的相似文档数。
2025-04-17 07:00:00
976
原创 17_大模型微调和训练之-一文从入门带你了解微调和训练大模型
平时接触更多的是RAG解决问题，为什么要进行训练和微调大模型RAG 与微调可结合使用：例如在医疗领域，通过微调提升基础医学推理能力，再结合 RAG 整合最新病例或研究成果。优先 RAG 的场景：实时性要求高、数据更新频繁、成本敏感。优先微调的场景：需模型内生能力定制、领域深度知识、隐私保护需求。模型设计完成后，进入训练阶段。通过数据加载器 (DataLoader) 高效地批量处理数据，并使用优化器更新模型参数。# 实例化 DataLoader# 初始化模型和优化器# 训练循环。
2025-04-16 08:51:59
1186
原创 18_大模型训练和部署之-Llama3大模型本地部署与调用（modelscope平台）
Llama3是Meta于2024年4月18日开源的LLM，目前开放了8B和70B两个版本，两个版本均支持最大为8192个token的序列长度（GPT-4支持128K）Llama3在Meta自制的两个24K GPU集群上进行预训练，使用15T的训练数据，其中5%为非英文数据，故Llama3的中文能力稍弱，Meta认为Llama3是目前最强的开源大模型。
2025-04-16 08:35:32
678
原创 16_大模型训练和微调之——GPT-2 中文模型介绍
1. GPT-2 中文模型介绍1.1 常见 GPT-2 中文模型推理调用示例Example 1: 中文歌词生成模型Example 2: 中文文言文生成Example 3: 中文对联生成Example 4: 中文古诗生成Example 5: 中文文章生成2. GPT-2 中文训练数据集结构分析数据集结构3. 本地训练 GPT-2 中文模型3.1 数据准备3.2 训练模型3.2 训练模型数据加载器3.3 模型检测GPT-2 是一种基于 Transformer 的生成模型，专注于生成连贯的文本。
2025-04-14 08:34:41
139
原创 15-大模型训练和微调之_Hugging Face 模型微调训练（如何处理超长文本训练问题）
新闻分类是一种经典的自然语言处理任务。通常需要对新闻文本进行分类，将其归入不同的类别。这类需求特点：内容超长，因此我们需要解决token限制问题如果你有自定义的新闻分类数据集，可以将其保存为 CSV 文件，并通过 datasets 库加载。拆分讲解：：可以方便地从 Hugging Face 或本地加载数据集。path="csv"表示加载本地 CSV 格式的数据。确保 CSV 文件的格式正确，列名要与代码中的字段匹配，如 “text” 和 “label”。
2025-04-14 08:09:14
192
原创 14-大模型微调和训练之-Hugging Face 模型微调训练（基于 BERT 的中文评价情感分析（二分类））
模型设计完成后，进入训练阶段。通过数据加载器 (DataLoader) 高效地批量处理数据，并使用优化器更新模型参数。# 实例化 DataLoader# 初始化模型和优化器# 训练循环for epoch in range(3): # 假设训练 3 个 epoch。
2025-04-07 21:59:26
308
原创 13_大模型微调和训练之Hugging Face 核心组件介绍
Hugging Face 是一个提供先进自然语言处理（NLP）工具的平台，支持 Transformer 模型的开发和应用。它拥有庞大的模型库和社区资源，能够满足从研究到工业应用的各种需求。
2025-04-07 21:58:46
182
原创 Embedding 与向量数据库
Qdrant（读作：quadrant /'kwɑdrənt/ n. 象限；象限仪；四分之一圆）是一个向量相似度搜索引擎。它提供了一个生产就绪的服务，具有方便的 API 来存储、搜索和管理点 - 带有附加载荷的向量。专门支持扩展过滤功能，使其对各种神经网络或基于语义的匹配、分面搜索和其他应用非常有用。以下展示了如何使用与向量数据库相关的功能。有各种运行的模式，取决于所选择的模式，会有一些细微的差异。选项包括：本地模式，无需服务器Qdrant 云请参阅安装说明。
2025-03-22 18:29:25
1054
原创 一文弄清大模型相关概念
欠拟合 (Under-fitting)：模型太简单，不能很好地捕捉数据中的模式。简单例子：用直线拟合“U”形数据。实际例子：房价预测中只用面积一个特征。最佳拟合 (Optimal-fitting)：模型恰到好处，既能很好地拟合训练数据，也能对新数据有良好表现。简单例子：用合适的二次曲线拟合“U”形数据。实际例子：房价预测中使用了多个重要特征。过拟合 (Over-fitting)：模型太复杂，过度记住了训练数据，无法泛化到新数据。简单例子。
2025-03-21 08:49:23
815
原创 8-langChian开发agent智能体
LangChain 代理适合入门，但在一定程度之后，我们可能希望拥有它们无法提供的灵活性和控制性。要使用更高级的代理，我们建议查看 LangGraph。在本次课程中，我们将构建一个可以与多种不同工具进行交互的代理：一个是本地数据库，另一个是搜索引擎。您将能够向该代理提问，观察它调用工具，并与它进行对话。代理是使用 LLM 作为推理引擎的系统，用于确定应采取哪些行动以及这些行动的输入应该是什么。然后可以将这些行动的结果反馈给代理，并确定是否需要更多行动，或者是可以结束。
2025-03-11 22:19:15
88
原创 7-langchain自定义工具调用
在构建代理时，您需要为其提供一个 Tool 列表，以便代理可以使用这些工具。属性类型描述namestr在提供给LLM或代理的工具集中必须是唯一的。str描述工具的功能。LLM或代理将使用此描述作为上下文。可选但建议，可用于提供更多信息（例如，few-shot 示例）或验证预期参数。boolean仅对代理相关。当为True时，在调用给定工具后，代理将停止并将结果直接返回给用户。
2025-03-11 00:43:13
914
原创 6-langchang多模态输入和自定义输出
虽然一些模型提供商支持内置的方法返回结构化输出，但并非所有都支持。我们可以使用输出解析器来帮助用户通过提示指定任意的 JSON 模式，查询符合该模式的模型输出，最后将该模式解析为 JSON。请记住，大型语言模型是有泄漏的抽象！您必须使用具有足够容量的大型语言模型来生成格式良好的 JSON。JsonOutputParser 是一个内置选项，用于提示并解析 JSON 输出。虽然它在功能上类似于 PydanticOutputParser，但它还支持流式返回部分 JSON 对象。# 定义您所需的数据结构。
2025-03-11 00:28:05
768
原创 3-Langchain工作流编排和LCEL
LangChain 表达语言(LCEL) 是一种声明式方法，可以轻松组合链条。LCEL 从第一天设计时就目的在于支持将原型置于生产中，无需更改代码，无论是最简单的“提示+LLM”链还是最复杂的链(我们见过成功在生产中运行带有数百步骤的LCEL链)。一流的流处理支持当你使用LCEL构建链时，你可以获得尽可能短的首个令牌时间(直到输出的第一个块出来的时间)。对于一些链来说，这意味着我们可以从LLM直接将令牌流式传输到流式输出解析器，您将以与LLM提供程序输出原始令牌的速率相同的速率获得解析的增量输出块。
2025-03-07 21:10:21
950
原创 2-LangChain提示词工程应用实践
另一个常见用例是使用函数进行部分化。这种情况下的用例是，当您知道您希望以常见方式获取变量时。这种情况的一个典型示例是日期或时间。想象一下，您有一个提示，您始终希望包含当前日期。您不能在提示中硬编码它，并将其与其他输入变量一起传递有点麻烦。在这种情况下，能够使用始终返回当前日期的函数部分化提示非常方便。您还可以使用部分化的变量初始化提示，这在这种工作流程中通常更有意义。
2025-03-07 21:08:22
1278
原创 学习 LangChain 的 8 周计划
学习 LangChain 是一个循序渐进的过程，尤其是如果您是初学者，可能需要从基础概念开始，逐步深入到高级应用。通过这个计划，您可以在 8 周内系统掌握 LangChain 的核心知识和实践技能。如果有任何问题，欢迎随时调整计划或寻求帮助！的学习计划，具体到每周目标，帮助您系统掌握 LangChain。
2025-03-05 19:57:43
971
原创 pytorch学习（六）：神经网络 （重要）
① nn.Module是对所有神经网络提供一个基本的类。② 我们的神经网络是继承nn.Module这个类，即nn.Module为父类，nn.Module为所有神经网络提供一个模板，对其中一些我们不满意的部分进行修改。
2025-02-26 11:37:08
956
原创 pytorch学习（四）：Transforms使用
Transforms在是计算机视觉工具包torchvision下的包，常用于对图像进行预处理，提高泛化能力。具体有：数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换和亮度、饱和度及对比度变换。
2025-02-17 08:07:51
1000
原创 pytorch学习（三）：Dataset和Dataloader(加载数据)
上面我们知道了dataset 这个数据集之后，为啥还需要适用datalaoder， 这个时候如果你是从java过来的， 应该知道classloader，需要对内容进行加载，如果不是从java过来也没关系。dataset 我们可以比作时一副扑克牌，但是我们怎么抓到每个人手里是有dataloader说了算。
2025-02-17 08:02:25
192
原创 pytorch学习（二）：基本操作
在 PyTorch 中，张量（Tensor）和标量（Scalar）是数据的基本表示形式。理解它们的区别和用途是有效使用 PyTorch 的关键。张量（Tensor）张量是一个多维数组，类似于 NumPy 数组，但具有更强大的功能，特别是在 GPU 加速计算和自动微分方面。张量可以是标量、向量、矩阵或更高维度的数组。0 维张量（标量）：只有一个数值。例如，3.14。1 维张量（向量）：一维数组。例如，[1.0, 2.0, 3.0]。2 维张量（矩阵）：二维数组。
2025-02-10 08:21:00
757
原创 pytorch学习（一）：环境安装
Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。与Tensorflow的静态计算图不同，pytorch的计算图是动态的，可以根据计算需要实时改变计算图。但由于Torch语言采用 Lua，导致在国内一直很小众，并逐渐被支持 Python 的 Tensorflow 抢走用户。
2025-02-10 07:35:45
498
原创 TypyScript从入门到精通
TypeScript由微软开发，是基于JavaScript的一个扩展语言。TypeScript包含了JavaScript的所有内容，即：TypeScript是JavaScript的超集。TypeScript增加了：静态类型检查、接口、 泛型等很多现代开发特性，更适合大型项目的开发。TypeScript需要编译为JavaScript，然后交给浏览器或其他JavaScript运行环境执行。
2025-01-03 08:31:37
511
原创 HIVE函数使用案例之----行列转换
行转列：多行转多列行转列：多行转单列--2、多行转单列select * from row2col1;select concat("it","cast","And","heima");select concat("it","cast","And",null);select concat_ws("-","itcast","And","heima");select concat_ws("-","itcast","And",null);select collect_list(col1).
2024-12-29 11:34:37
539
1
原创 HIVE函数使用案例之----窗口函数
HIVE函数使用案例之----窗口函数案例1：连续登陆用户方案一：表中的数据自连接，构建笛卡尔积方案二：使用窗口函数来实现案例2：级联累加求和案例3：分组TopN完整sql案例1：连续登陆用户方案一：表中的数据自连接，构建笛卡尔积这种方案弊端非常明显,如果查询连续3天,4天,一个月…没办法实现方案二：使用窗口函数来实现案例2：级联累加求和案例3：分组TopN完整sql--------------------------------hive 窗
2024-12-29 11:34:09
448
1
原创 包管理工具
cnpm 是一个淘宝构建的npmjs.com的完整镜像，也称为『淘宝镜像』，网址https://npmmirror.com/cnpm 服务部署在国内阿里云服务器上，可以提高包的下载速度官方也提供了一个全局工具包cnpm，操作命令与 npm 大体相同yarn 是由 Facebook 在 2016 年推出的新的 Javascript 包管理工具，官方网址：https://yarnpkg.com/
2024-12-28 09:53:36
604
原创 Hive的in与not in 值中有null的时候注意事项,join where条件等问题
在进行hive SQL查询数据的时候，where条件中使用了in或者not in，但是该值内有null空。这时，无论是in还是not in，空值都不会进入该条件内，但是使用not in的时候只是希望把自己不想要的数据给排除掉，这时会同步把为null的数据也进行排除掉了。所以，在写not in或者in的时候，如果希望保留为null的数据。最好加一条where (col not in (1,2,3,4) or col is null)同样，进行先join 后where操作的时候，同样要注意值为null的情
2024-12-19 15:09:29
852
原创 SpringCloud Alibaba入门简介和Nacos服务注册和配置中心
前面已经把spring cloud相关的组件都一一学了个遍,现在有点小佩服自己…本来计划今天周末好好出去玩一圈,天气太热了,39了都,还是在办公室学习吧,进行下面的springCloud Alibaba 学习吧…不废话了赶快进入正体1. SpringCloud Alibaba入门简介1.1 why会出现SpringCloud alibaba?Spring Cloud Netflix项目进入维护模式,spring blog上增加官宣不争气啊,看到都是我们前面刚学的比较熟悉的啊,hystrix,rib
2024-11-13 08:32:43
947
1
原创 08_docker网络
从其架构和运行流程来看，Docker 是一个 C/S 模式的架构，后端是一个松耦合架构，众多模块各司其职。Docker 运行的基本流程为：1 用户是使用 Docker Client 与 Docker Daemon 建立通信，并发送请求给后者。2 Docker Daemon 作为 Docker 架构中的主体部分，首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。
2024-11-10 10:49:46
819
原创 07_Dockerfile 解析
Dockerfile是用来构建Docker镜像的文本文件，是由一条条构建镜像所需的指令和参数构成的脚本。构建三步骤：1. 编写Dockerfile 文件2. docker build 命令构建镜像3. docker run 根据镜像运行容器实例。
2024-11-10 10:49:26
710
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人