- 博客(353)
- 收藏
- 关注
原创 【大模型】-LlamaIndex框架(与LangChain区别)
LlamaIndex是一个专为LLM应用设计的数据框架,用于连接私有数据与大语言模型(如GPT-4)。核心功能包括数据摄取、索引和查询,主要概念涵盖Document、Node、Index等基础组件,以及Embedding Model、LLM等进阶模块。与LangChain相比,LlamaIndex更专注于数据增强和检索功能。搭建时需配置Python环境并安装相关依赖,通过代码示例展示了如何创建Chroma向量数据库、构建索引并实现问答交互。案例演示了单轮问答(as_query_engine)和多轮对话(as
2025-12-27 21:52:52
928
原创 【大模型】-AutoGen Studio的搭建
AutoGen是一个多代理协作框架,用于开发大型语言模型(LLM)应用程序。它支持代理间的对话协作,结合LLM、人工输入和工具执行复杂任务。本文介绍了AutoGen的安装步骤:首先创建conda虚拟环境,然后安装autogenstudio并启动服务。详细说明了工作流搭建方法,包括Agent编辑、模型配置(如UserProxyAgent)和团队结构设置。文章还展示了如何使用DeepSeek模型,并提供了官方文档和代码配置两种方式的操作指引,最后演示了提问交互界面。
2025-12-26 22:34:36
218
原创 【大模型】-火山引擎扣子
火山引擎推出AI模型服务平台"火山方舟",用户注册后可申请API Key使用各类AI模型。平台提供免费额度,支持在线体验或API接入两种使用方式。用户可自由选择开通单个或全部模型,通过网页直接体验模型效果,或获取API密钥进行代码集成。此外,还推荐类似平台"扣子"(Coze),功能与Dify相近,为用户提供更多AI服务选择。该平台操作流程简单,从注册到模型调用仅需几个步骤,适合开发者快速接入AI能力。
2025-12-24 08:36:48
199
原创 【大模型】-modelscope魔搭
魔搭社区是类似HuggingFace的中文AI模型平台。使用前需设置环境变量指定模型和数据集缓存路径,并安装modelscope框架。以Qwen3-235B-A22B模型为例,通过AutoModelForCausalLM和AutoTokenizer加载模型,输入提示词后即可生成文本。模型会自动下载到指定目录,支持思考模式和非思考模式切换。该平台为中文开发者提供了便捷的模型调用方式,使用流程与HuggingFace类似但更侧重中文生态。
2025-12-23 22:29:15
355
原创 【大模型】-AutoDL算力平台
本文介绍了AutoDL平台的注册与使用指南。用户可通过官网链接(https://www.autodl.com/login)进行注册登录,并参考快速入门文档(https://www.autodl.com/docs/quick_start/)了解平台操作。文中包含两张配图,分别展示了平台界面和功能模块,帮助用户快速掌握AutoDL云计算服务的使用方法。该平台为深度学习开发者提供便捷的GPU计算资源,适合初学者快速上手。
2025-12-23 07:46:31
139
原创 【大模型】-微调-GPT模型
本文介绍了4个开源的中文文本生成模型,均可在HuggingFace下载使用。包括:1)文言文生成模型,输入"庄周梦蝶"可生成古风文本;2)对联生成模型,需以"[CLS]"开头输入上联;3)古诗词生成模型,可续写古诗词;4)白话文生成模型,可续写现代文本。所有模型都基于GPT2架构,使用BERT分词器,支持GPU加速。代码示例展示了如何使用这些模型进行文本生成,包括设置镜像、加载模型和生成文本的基本流程。这些模型无需API密钥,可直接下载到本地使用。
2025-12-21 19:57:02
260
原创 【大模型】-微调-自定义超长文本微调
本文介绍了使用PyTorch和HuggingFace库构建自定义文本分类模型的全过程。主要包括:1)通过继承Dataset类实现自定义数据集加载器,支持CSV格式数据;2)基于BERT预训练模型构建自定义分类网络,通过冻结部分层和修改位置嵌入来优化模型;3)使用DataLoader和自定义collate_fn函数实现数据批量处理,包含文本编码、填充和掩码生成。整个流程展示了从数据准备到模型构建的完整实现,适用于中文文本分类任务,并支持GPU加速训练。代码中特别处理了BERT的位置嵌入层,使其可训练并适配更长
2025-12-21 19:48:07
314
原创 【大模型】-微调-BERT
本文介绍了BERT模型微调的全过程。首先设置HuggingFace环境变量指定模型和数据集存储路径,然后下载bert-base-chinese预训练模型和ChnSentiCorp中文情感分析数据集。通过Python代码实现了数据清洗、分词编码、模型训练和评估等步骤,最终获得85%的测试准确率。训练完成后将微调后的模型保存到本地,并与原始BERT模型进行对比测试,展示了情感分类效果。整个过程涵盖了从环境配置到模型应用的全流程,为中文NLP任务提供了实践参考。
2025-12-21 19:35:48
1015
原创 【大模型】-向量数据库
本文介绍了向量数据库的核心应用,包括文本嵌入生成和相似度检索。通过OpenAI和DashScope的嵌入模型,可以将文本转换为高维向量表示(如1536维),并计算向量间的余弦相似度实现语义搜索。示例代码演示了如何为多段文本生成嵌入向量,以及基于嵌入相似度从文档集合中检索最相关的内容。测试结果显示,查询"人工智能"与目标文档"人工智能正在改变世界"的相似度最高(0.7738),验证了该方法在语义检索中的有效性。
2025-12-20 21:45:20
198
原创 【大模型】-Hugging Face生态
Hugging Face是一个开源的AI社区平台,提供丰富的预训练模型和工具库,包括transformers、datasets等核心组件。主要模型类型包括:编码器模型(如BERT)用于文本理解,解码器模型(如GPT)用于文本生成,以及编码器-解码器模型(如T5)用于序列转换任务。文章还对比了阿里巴巴推出的中文AI社区ModelScope,并提供了环境配置指南和代码示例,展示如何使用Hugging Face进行情感分析任务。测试结果显示未经调优的模型在IMDB数据集上准确率约为60%,存在偏向正面预测的倾向。
2025-12-20 21:41:37
292
原创 【大模型】-Langgraph--Agent
摘要: 本文展示了使用Langgraph框架构建智能代理的两种实现方式。第一种基于状态图(StateGraph),通过定义工具节点、模型调用节点和条件边,构建了一个循环执行的工作流,能够根据LLM输出决定是否调用工具。第二种实现Langgraph-Agent采用REACT代理架构,结合Tavily搜索工具和计划执行机制,通过PlanExecute状态管理实现多步骤任务处理。两种方法都利用了通义千问模型作为核心LLM,并实现了工具调用、状态持久化和多轮对话功能,展示了Langgraph框架在构建复杂代理系统时
2025-12-18 22:15:19
448
原创 【大模型】-LangChain--RAG文档系统
文章摘要:本文介绍了一个基于LangChain框架的文档问答系统实现方案。系统采用Streamlit构建前端界面,支持用户上传多个TXT文档,通过DashScopeEmbeddings生成文档向量并存储在Chroma向量数据库中。系统核心使用通义千问大模型(ChatTongyi)作为LLM,结合文档检索工具和对话记忆功能,构建了一个能根据上传文档内容回答问题的智能代理。实现功能包括文档加载、文本分割、向量化存储、对话历史管理以及基于检索增强生成(RAG)的问答机制。系统还提供了清空聊天记录、实时交互等用户体
2025-12-14 19:53:44
326
原创 【大模型】-LangChain--stream流式同步异步
本文展示了使用LangChain与ChatTongyi模型实现流式输出的四种方式:1) 同步stream流处理问答;2) 异步astream流处理故事生成;3) 异步astream流输出JSON格式数据;4) 异步astream_events流获取详细的事件日志。所有示例均需配置DASHSCOPE_API_KEY环境变量,使用qwen-plus模型实现内容流式输出,其中包含同步/异步处理、结构化输出和事件跟踪等功能。
2025-12-14 16:13:47
607
原创 【大模型】-LangChain自定义工具调用
本文介绍了在LangChain中创建自定义工具的三种方法:1)使用@tool装饰器快速定义工具;2)通过StructuredTool.from_function提供更多配置选项;3)继承BaseTool实现最大灵活性。重点演示了前两种方法,包括同步/异步实现、参数自定义和错误处理。示例代码展示了如何创建天气查询、景点搜索等工具,并详细说明了工具名称、描述和参数模式的配置方式。最后介绍了使用ToolException处理工具错误的策略,包括设置错误处理程序的方法。这些技术可以帮助开发者更高效地构建LangCh
2025-12-14 15:54:59
904
原创 【大模型】-LangServe
LangServe是一个专为LangChain应用程序设计的REST API部署库,可快速将链、代理等模型部署为Web服务。它提供三种安装方式:完整版、仅客户端或仅服务器。主要特性包括自动生成API端点、内置流式传输、交互式Playground界面、类型安全和LangSmith集成。通过类比Spring Boot框架,LangServe简化了LangChain应用的API化过程,只需几行代码即可创建生产就绪的服务。配合LangChain CLI工具,还能快速生成项目模板和预配置开发环境。示例展示了如何将简单
2025-12-08 22:56:58
1056
原创 【大模型】-LangChain
基础掌握: Models → Prompts → Chains。进阶应用: Memory → Indexes → Agents。LangChain-Chatchat: 中文对话系统。这个自己设置,本人用的通义千问的模型。langflow: 可视化编排工具。
2025-12-08 21:38:51
273
原创 【Python】七.异常处理
本文介绍了Python异常处理的几种方式:1.捕获常规异常的基本语法;2.捕获特定异常类型的方法;3.捕获多个异常的两种格式;4.其他用法包括打印异常信息、else和finally子句;5.异常在函数调用链中的传递机制。文章通过具体代码示例展示了如何捕获NameError、ZeroDivisionError等常见异常,以及如何使用else处理无异常情况、finally确保资源释放。最后说明了异常会从内层函数传递到外层调用者的特性,建议在最外层统一捕获处理。
2025-11-29 16:25:20
429
原创 【Python】六.文件基础操作
本文介绍了Python文件操作的基本方法,包括文件的打开、读取、写入和追加。文件打开使用open()函数,支持r(读取)、w(写入)、a(追加)等模式,并推荐使用UTF-8编码。读取方法包括read()、readline()、readlines()和循环读取,写入需注意缓冲区机制,调用flush()或close()才能实际写入文件。追加模式a可在文件末尾添加内容而不覆盖原有数据。文中提供了详细代码示例,并强调了使用with语句自动关闭文件的重要性,以及不同模式下的文件指针位置和操作特性。
2025-11-29 15:36:40
981
原创 【Python】五.数据容器
本文介绍了Python中的两种基本数据容器:列表(list)和元组(tuple)。列表是一种可变的序列容器,支持增删改查等操作,元素有序且可重复;元组则是不可变的序列容器,定义后不能修改。文章详细讲解了它们的基本格式、索引访问、常用操作方法,以及遍历方式。列表提供append、insert、remove等方法,支持while和for循环遍历;元组由于不可变性,主要应用于数据不变的场景。这两种容器都支持嵌套结构和多种数据类型存储,是Python编程中的重要数据结构。
2025-11-15 22:58:22
954
1
原创 【dify】本地dify部署(在Linux环境下搭建Dify)-步步踩坑
Linux本地部署Dify服务指南 本文详细介绍了在Linux系统上搭建Dify本地服务的完整流程。主要内容包括: 环境准备:通过Git下载Dify代码包,推荐指定版本号(如0.15.3)确保稳定性 配置关键: 创建.env配置文件(注意是隐藏文件) 配置数据库、Redis等参数需与docker-compose.yaml保持一致 设置国内Docker镜像源加速访问 部署运行: 使用docker-compose启动服务 默认80端口可修改为8080等 通过本地IP访问安装界面并初始化账号 远程访问方案: 使用
2025-11-15 16:19:51
1988
1
原创 【Python】四.函数使用
本文介绍了Python函数的基础知识和进阶用法。基础部分包括函数定义的基本格式(无参、带参、带返回值)、None类型应用、函数嵌套调用。变量作用域部分讲解了局部变量和全局变量的区别,以及global关键字的使用。进阶内容涵盖多返回值、四种传参方式(位置参数、关键字参数、缺省参数、不定长参数)以及函数作为参数传递的特性。文章通过大量代码示例详细说明了各种函数用法,包括参数传递规则、变量作用范围控制等关键知识点,帮助读者全面掌握Python函数的使用技巧。
2025-10-30 23:12:55
1014
原创 【Python】三.循环语句
用于获得一个简单的数字序列(可迭代类型的一种)。临时跳过: 暂时跳过本次循环,直接进行下一次。可用于for循环和while循环,效果一致。直接结束: 提前退出循环,不再继续。中断本次循环,直接进入下一次循环。在嵌套循环中只对所在层循环生效。对一批内容进行逐个处理。(2) 区别while。(3) range语句。
2025-10-19 23:17:20
290
原创 【Python】二.判断语句
摘要:本文介绍了Python中布尔类型和逻辑运算符的使用,以及if判断语句的相关语法。主要内容包括:1)布尔类型的定义True(1)和False(0),通过比较运算获取布尔值;2)逻辑运算符and(与)、or(或)、not(非)的运算规则及其特殊用法;3)if语句的三种格式:简单if、if-else、if-elif-else,以及判断语句的嵌套使用规则,强调缩进决定层次关系。这些基础知识是Python条件控制的重要组成部分。
2025-10-19 22:51:57
424
原创 【Python】一.基础语法
本文介绍了Python编程基础中的核心概念:1)字面量类型(整数、浮点数、字符串);2)注释的单行与多行写法;3)变量定义与动态赋值特性;4)数据类型查看与转换方法;5)标识符命名规则与规范;6)算术运算符使用;7)字符串的多种定义方式、拼接技巧及格式化输出方法,包括精度控制。重点讲解了字符串处理中的引号嵌套规则、占位符%s/%d/%f的用法,以及通过m.n控制输出格式的技巧。
2025-10-12 23:05:33
843
原创 【mysql是怎样运行的】-EXPLAIN详解
在包含 UNION 或者 UNION ALL 的大查询中 ,如果各个小查询都依赖于外层查询,则除了最左边的那个小查询之外 ,其余小查询的 select_type值就是 DEPENDENT UNlON。,而且查询优化器决定采用将该子查询物化的方案来执行该子查询时,该子查询的第一个SELECT 关键字代表的那个查询的 select_type 就是SUBQUERY。:在包含派生表的查询中,如果是以物化派生表的方式执行查询,则派生表对应的子查询的 select_type 就是 DERIVED。
2023-08-26 22:12:24
734
原创 【mysql是怎样运行的】-InnoDB数据页结构
页a、页b、页c…页n这些页可以不在物理结构上相连,只要通过双向链表相关联即可。每个数据页中的记录会按照主键值从小到大的顺序组成一个单向链表,每个数据页都会为存储在它里边的记录生成一个页目录,在通过主键查找某条记录的时候可以在页目录中使用二分法快速定位到对应的槽,然后再遍历该槽对应的分组中的记录即可快速找到指定的记录。
2023-03-04 22:26:38
807
原创 【mysql是怎样运行的】-mysql字符集
在启动服务器程序时,可以通过启动选项或者在服务器程序运行过程中使用SET语句来修改这两个变量的值启动选项:过程中set:2. 数据库级别我们在创建和修改数据库时可以指定该数据库的字符集和比较规则具体语法:如:查看在数据库的创建语句中也可以不指定字符集和比较规则,如这样这将默认使用服务器级别的字符集和比较规则作为数据库的字符集和比较规则·我们也可以在创建和修改表的时候指定表的字符集和比较规则具体语法:如:如果创建表的语句中没有指明字符集和比较规则 ,则使用该表所在数据库的字符集和
2022-12-04 18:05:38
567
原创 Kafka生产者:学习记录总结
图例:步骤:java生产者代码可能需要:kafka默认就是异步发送生产者案列测试:2.2 带回调函数的异步发送区别在于多了个callback回调函数回调函数会在 producer 收到 ack 时调用,为异步调用,该方法有两个参数,分别是元数据信息(RecordMetadata) 和异常信息(Exception),如果 Exception 为 null,说明消息发送成功,如果 Exception 不为 null,说明消息发送失败3. 同步发送 API只需在异步发送的基础上,再调用一下
2022-06-04 18:26:13
348
原创 【kafka面试精华】--“精华篇“
1. 为什么需要kafka?Kafka 是一个分布式的基于发布/订阅模式的消息队列。消息队列是一种先进先出的数据结构。队列是一种先进先出的数据结构,分布式消息队列可以看做将这种数据结构部署到独立的服务器上,应用程序可以通过远程访问接口使用分布式消息队列,进行消息存取操作,进而实现分布式的异步调用。消息生产者应用程序通过远程访问接口将消息推送给消息队列服务器,消息队列服务器将消息写入本地内存队列后立即返回成功后响应给消息生产者。消息队列服务器根据消息订阅列表查找订阅该消息的消息消费者应用程序,将消息队列
2022-05-21 22:37:58
864
原创 【设计模式】工厂模式3种
文章目录1. 简单工厂模式2. 工厂模式3. 抽象工厂模式1. 简单工厂模式简单工厂模式是属于创建型模式,是工厂模式的一种。 简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式简单工厂模式:定义了一个创建对象的类,由这个类来封装实例化对象的行为(代码)在软件开发中,当我们会用到大量的创建某种、某类或者某批对象时,就会使用到工厂模式.改造前:如果要新增一个类,必须在里面加逻辑如:else if (orderType.equals("chi
2022-04-04 20:45:30
372
原创 【设计模式】单例模式的8种方式
文章目录1. 饿汉式(静态常量)2. 饿汉式(静态代码块)3. 懒汉式(线程不安全)4. 懒汉式(线程安全,同步方法)5. 懒汉式(线程安全,同步代码块)6. 双重检查7. 静态内部类8. 枚举饿汉式(静态常量)饿汉式(静态代码块)懒汉式(线程不安全)懒汉式(线程安全,同步方法)懒汉式(线程安全,同步代码块)双重检查静态内部类枚举1. 饿汉式(静态常量)步骤如下:构造器私有化 (防止 new )类的内部创建对象向外暴露一个静态的公共方法。 getInstance代码实现
2022-04-04 16:42:55
177
原创 【设计模式】设计模式7大原则
文章目录1. 单一职责2. 接口隔离原则3.依赖倒转原则4.里氏替换原则1. 单一职责对类来说一个类只负责一项职责,或者一个方法只负责一个职责。如果类A负责两个不同职责:职责1,职责2,如果职责1需求变更改变类A时,造成职责2执行错误,所以需要将类A的职责拆解A1,A2。单一职责举例package com.atguigu.principle.singleresponsibility;public class SingleResponsibility3 { public static voi
2022-03-06 23:45:08
364
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅