- 博客(191)
- 收藏
- 关注
RSS订阅
原创 gpt-4o-mini 等大模型的第三方中转API接口教程
摘要：本文介绍了如何在Python环境中使用gpt-4o-mini模型，包括Anaconda的安装与配置、创建新的Python虚拟环境、安装langchain与openai相关包、接入OpenAI API（包括使用第三方API站点以规避地域限制）的方法。详细步骤涵盖了环境变量的设置、API密钥的管理、模型调用的代码示例及消费估算。此外，还提供了优化大模型使用效率的建议，如使用多线程、令牌池，以及编写有效提示词的重要性。最后，推荐了相关教程和提示词编写技巧，旨在帮助读者更好地利用大模型进行自然语言处理任务。
2024-08-21 13:10:09
2798
4
原创 基于 LlamaFactory 微调大模型的实体识别的评估实现
利用 LlamaFactory 框架微调大语言模型完成实体识别任务。在实体识别评估中，采用实体边界完全匹配方可计为正确结果。代码实现包括分类评价指标的计算（准确率、召回率与 F1 值）。
2024-12-06 16:15:26
430
原创 使用 LlamaFactory 结合开源大语言模型实现文本分类：从数据集构建到 LoRA 微调与推理评估
使用 LlamaFactory 框架结合开源大语言模型完成文本分类实验。以 LoRA 微调 `qwen/Qwen2.5-7B-Instruct` 为例，涵盖了数据集构建、模型配置与训练、以及推理与评估的完整流程。并提供了基于生成式预测的文本分类评估代码。
2024-12-06 15:45:50
995
原创 基于 LLamafactory 的异步API高效调用实现与速度对比
通过异步方式调用大语言模型 API的方法，相较于传统同步调用方式，显著提升了推理效率。文章展示了如何利用 LLamafactory 原生数据加载工具和自定义异步工具类 AsyncAPICall 实现批量数据推理，避免程序崩溃时数据丢失。通过实验对比，异步调用比同步调用速度提升了约 9.41 倍。
2024-12-01 23:23:05
977
原创 基于 LlamaFactory 的 LoRA 微调模型支持 vllm 批量推理的实现
本文介绍了如何通过 LlamaFactory 原生数据集，实现支持 LoRA 微调模型的 vllm 批量推理。提供了完整代码实现和配置示例，展示了使用 vllm 加速推理的方式。测试结果表明vllm推理代码提升了推理效率。
2024-11-29 10:57:46
692
原创 LLamafactory API部署与使用异步方式 API 调用优化大模型推理效率
介绍了如何利用 LLamafactory 将微调后的 LoRA 模型部署为 API 服务，并通过 Python 异步调用实现高效请求处理。文章详细阐述了异步工具类封装的流程，同时以生成数学计算数据集为案例，展示了如何批量调用大模型 API 并优化性能。针对可能出现的服务器拒绝响应和程序崩溃问题，本文提出了分块处理与断点续跑机制。附有代码示例与项目开源地址供读者参考实践。
2024-11-27 10:13:41
1540
3
原创 LLamafactory 批量推理与异步 API 调用效率对比实测
本文通过构建数学运算数据集，测试了 LLamafactory 的两种大模型推理方式——批量推理和异步 API 调用，并对两者的速度进行了对比分析。结果显示，LLamafactory 的批量推理由于不支持 vllm，速度较慢，完成 100 条数据推理耗时 4 分 42 秒；而异步 API 调用仅用时 14 秒，效率显著更高。结合 LLamafactory 微调和 API 部署，以及异步调用 API，以达到快速推理的目的，并提供了项目的开源代码供读者参考。
2024-11-26 22:51:04
1259
原创 千问 Qwen2.5-7B-Instruct 模型微调后“变身”Claude：是前世记忆还是数据版权？
在微调 Qwen2.5-7B-Instruct 的过程中，竟在短短5个epoch后，声称自己是Anthropic的 Claude。这是偶然的Bug，还是潜在的数据安全隐患？从技术原因到品牌形象的深远影响，这个事件值得每一位AI开发者深思。
2024-11-26 10:19:48
649
原创 llama-factory 系列教程 (七)，Qwen2.5-7B-Instruct 模型微调与vllm部署详细流程实战
介绍了如何使用该工具进行模型的微调和部署，内容涵盖工具的安装、模型下载、数据集准备、Lora 微调方法、命令行与 YAML 文件配置的训练流程，以及推理测试与多种部署方式。文章以实验流程为线索，结合图文演示，快速上手并高效完成 LLaMA-Factory 的实际应用。
2024-11-25 15:42:16
2011
原创 使用 PyMySQL 操作 MySQL 数据库
使用 PyMySQL 操作 MySQL 数据库，包括数据库连接、数据查询、批量插入和更新操作的实现方法。同时，文章强调了敏感信息管理、事务处理、错误捕获以及性能优化的重要性等实践。通过分批插入等方法，可显著提升数据操作效率。
2024-11-20 15:06:51
636
原创 大模型 API 异步调用优化：高效并发与令牌池设计实践
本文探讨了大模型 API 调用中速度优化的关键技术。通过结合 Python 的异步编程和令牌池设计，能够显著提高并发任务处理效率，同时避免因频率过高导致封号。文章从基础异步实现、限速机制、进度条展示到多令牌池优化方案，提供了详细的代码示例和实践建议，并应用于大模型四则运算任务中，展示了异步调用的显著性能提升。
2024-11-19 15:45:12
802
原创 企业信息表的多维数据增强：资质属性与海关数据的添加方法
通过**企业资质**和**海关出口数据**的加入，丰富企业信息表的维度，为企业分析提供更强大的数据支持。我们从实际业务需求出发，利用 Python 和 Pandas 库实现数据清洗、表格拼接与字段合并，并通过代码示例，展示如何实现自动化数据扩展。最终结果是更全面的企业信息表，为后续数据分析和决策提供坚实基础。
2024-11-13 13:27:59
849
原创 使用VSCode远程连接服务器并解决Neo4j无法登陆问题
介绍了如何通过VSCode连接内网部署的Neo4j服务器，并启动服务。在访问Neo4j登录界面时，遇到了端口映射问题导致无法登录。通过手动添加7687端口的映射，并刷新网页后成功登录Neo4j。
2024-11-09 22:19:52
646
原创 基于MySQL的企业专利数据高效查询与统计实现
介绍了基于MySQL的企业专利数据查询与统计方法，旨在提升专利数据检索效率。首先，将专利数据按申请人拆分并存入`patent_p`表，为申请人字段建立索引，实现快速查询。其次，利用SQL和Python脚本，通过公司名称查询每年的专利数量和专利得分，并将结果导出至Excel表格。该方案适用于企业评估与产业链分析，能够有效支持大规模专利数据的快速统计和分析需求。
2024-11-04 11:23:05
971
原创 3500多万家专利数据存入Mysql数据库
将大规模专利数据存入MySQL数据库的实践。从使用Pandas读取专利数据开始，详细说明了如何将中文属性名映射为英文，并生成创建数据库表的SQL语句。
2024-10-28 16:01:57
529
原创 Linux 开机自动挂载硬盘
介绍了如何在 Linux 系统中设置开机自动挂载硬盘的方法。通过查看硬盘分区信息、创建挂载点、编辑 `/etc/fstab` 文件配置自动挂载，以及测试和重启验证等步骤，实现硬盘的开机自动挂载。此外，文章还对配置字段进行了详细解析，确保系统启动时自动访问硬盘数据。
2024-10-28 12:43:53
1760
原创 大规模企业工商信息导入MySQL数据库的技术实战与优化
本文介绍了将超过2亿条企业工商信息高效导入MySQL数据库的技术方法，包括表结构设计、数据预处理、批量插入和错误处理等关键步骤。针对大规模数据存储，本文提供了索引优化使用等性能优化建议，确保数据处理的高效性。
2024-10-25 20:07:11
802
原创 配置 SSH 无需密码连接服务器及为 IP 指定自定义域名
SSH（Secure Shell）是常用的远程登录工具，支持安全的远程连接和文件传输。本文将介绍如何在 Mac 上配置 SSH 无需密码连接服务器，以及如何为一个 IP 地址指定自定义域名，以便更方便地使用 SSH 进行连接。
2024-10-25 19:03:11
977
原创 MySQL 批量插入详解：快速提升大数据导入效率的实战方法
使用 Python 和 PyMySQL 库高效地将大量数据批量插入 MySQL 数据库。通过学生信息表的实战示例，详细讲解了批量插入的实现方法，包括生成随机数据、批量执行插入操作、事务管理和性能优化技巧。相比逐行插入，批量插入显著提高了数据导入的效率。还提供了性能优化建议，如调整批次大小、禁用自动提交和索引优化等，帮助读者掌握批量插入的最佳实践，提高大规模数据处理的性能。
2024-10-25 10:07:12
1425
原创 解决Transformer训练中的AttributeError: ‘AdamW‘ object has no attribute ‘train‘问题
本文分享了在使用transformers库进行BERT模型训练时遇到的AttributeError: 'AdamW' object has no attribute 'train'错误的解决过程。通过查找相关信息，发现问题源于accelerate库版本过低，并通过将库升级至0.34.2版本成功解决报错。本文详细介绍了问题排查、版本更新的步骤，以及如何忽略更新中的警告提示，以帮助读者快速解决类似问题。
2024-10-16 10:55:35
1240
2
原创 如何在Ubuntu上更改MySQL数据存储路径
本文介绍了在Ubuntu系统中更改MySQL数据存储路径的详细步骤。首先，建议备份现有的数据库数据以防止丢失。接着，停止MySQL服务并复制现有数据到新的目录。然后，修改MySQL配置文件以更新数据目录和socket位置。对于启用了AppArmor或SELinux的系统，需相应更新其配置以允许访问新目录。最后，重启MySQL服务并验证更改是否成功。
2024-10-12 17:25:18
1664
2
原创 BERT 多分类实战：从训练到评估的完整指南
使用 transformers.Trainer 自动训练模型，使用训练完成的模型进行预测，评估模型训练的效果。
2024-09-30 16:24:43
1249
原创 利用pandas为海量数据添加UUID并实现精准筛选
在数据处理中，为每条数据记录赋予独特身份标识至关重要。本文通过引入UUID 作为全局唯一标识符，结合强大的pandas库，详细介绍了如何为数据表轻松添加UUID，并通过UUID精准筛选出所需数据。文章从环境准备、构建示例数据、添加UUID列，到精准筛选数据等步骤进行了详细阐述，为数据处理人员提供了一种直观且高效的数据交互方式。
2024-09-19 22:15:09
767
原创 同一Python脚本中训练多个模型时的 wandb 配置错误解决方案
训练多个模型时，可能会遇到WandB 配置错误，尤其是在训练多个模型参数大小不一致的情况下。介绍如何解决因模型参数变化导致的WandB配置错误，具体报错信息为“Attempted to change value of key 'model/num_parameters' from xxxx to xxxx”。我们将探讨如何通过调用`wandb.finish()`来结束前一个模型的训练，并确保下一个模型的训练能够顺利进行。
2024-09-17 21:20:59
978
原创 使用多个 GitHub 账号的 SSH 配置与常见问题排查
在开发过程中，涉及到多个 GitHub 账号的使用。为了避免每次切换账号时手动输入用户名和密码，通过配置多个 SSH 密钥来管理这些账号。本文将详细介绍如何为每个 GitHub 账号生成独立的 SSH 密钥、如何配置 SSH 代理、以及在使用 SSH 连接克隆仓库时遇到的常见错误及其解决方案。
2024-09-17 10:46:48
1240
1
原创 解决 PyCharm 无法启动 Jupyter 服务器的问题：报错分析与解决方案
PyCharm 无法启动 Jupyter 服务器。通过指定 IP 地址来解决问题的有效方案。最终，配置 PyCharm 的 Jupyter 设置后，成功运行了 .ipynb 文件。
2024-09-14 16:06:00
1900
原创 使用Bert模型优化Padding策略：加速文本分类训练
本文探讨了如何通过优化Padding策略，提高基于Bert的文本分类模型的训练速度。我们比较了两种不同的Padding方式：一种是将输入数据统一填充到最大长度512，另一种是只将每个Batch中的数据填充到Batch中最长的样本长度。通过实验结果证明，后者显著减少了训练时间，且不影响模型的性能。
2024-09-10 21:20:05
893
原创 使用 Bert 做文本分类，利用 Trainer 框架实现 二分类，事半功倍
介绍了如何使用 `transformers` 库的 `Trainer` 进行Bert模型的自动微调，无需手动调整损失函数和参数更新。导入必要的库和数据集，文章展示了加载中文Bert模型并对文本进行分类的过程。文中详细讲解了如何将数据集转换为Bert模型可处理的格式，并通过 `TrainingArguments` 和 `Trainer` 设置训练参数和执行训练。使用 `Trainer` 不仅节省时间，还能保证模型效果。使用 `wandb` 记录和可视化训练过程，可视化查看模型训练过程。
2024-09-06 17:00:43
694
1
原创 使用 LangGraph 构建工作流， 实现与虚拟女友对话
介绍了如何使用 LangGraph 搭建一个基于聊天机器人的工作流，具体实现了一个虚拟女友的角色扮演游戏。 通过流程图展示了构建完成的状态图，并介绍了各个节点的功能，如接收用户输入、生成对话等。 博主还提供了是否使用历史聊天记录的方法，使虚拟女友记住用户之前的对话，还是忘记。通过此项目，读者可以学习如何使用 langgraph 中实现类似的工作流搭建。
2024-08-24 22:18:34
638
原创 从数据生成到图数据库：Linux下Neo4j的CSV导入
介绍如何在Linux系统中设置和使用Neo4j数据库。* 首先，找到Neo4j的import文件夹，通常位于Neo4j安装目录下的data文件夹内，并展示通过`neo4j.conf`配置文件查找和修改import目录路径。* 接着，通过大模型生成两张CSV表格数据，一张是老师数据，另一张是学生数据，并保存到import文件夹中。* 最后，展示了如何使用Cypher语句将这两张表格导入Neo4j，创建相应的节点和关系。
2024-08-24 09:58:19
911
原创 vllm 部署GLM4模型进行 Zero-Shot 文本分类实验，让大模型给出分类原因，准确率可提高6%
本文记录了使用 vllm 部署 GLM4-9B-Chat 模型进行 Zero-Shot 文本分类的实验过程与结果。通过对 AG_News 数据集的测试，研究发现大模型在直接进行分类时的准确率为 77%。然而，让模型给出分类原因描述（reason）后，准确率显著提升至 83%，提升幅度达 6%。这一结果验证了引入 reasoning 机制的有效性。文中详细介绍了实验数据、提示词设计、模型推理方法及评估手段。
2024-08-23 16:33:11
1167
原创 linux neo4j 切换知识图谱
介绍了在 Linux 系统上安装和配置 Neo4j，以及如何切换不同的数据库以管理多个知识图谱。首先介绍了如何在 Ubuntu 上通过命令行安装 Neo4j。针对 Neo4j 免费版不支持多数据库管理的限制，作者提供了一种通过本地文件夹切换数据库的解决方案。步骤包括停止 Neo4j 服务、备份现有数据库文件、创建新文件夹、设置新密码，并启动新的知识图谱数据库。
2024-08-23 13:31:55
1113
原创 datasets库一些基本方法：filter、map、select等
本文介绍了使用datasets库在Python中高效处理数据集的方法。文中展示了如何安装和导入huggingface数据集，并详细说明了使用filter、map和select方法对数据集进行筛选、转换和采样的具体步骤，同时解决了因网络问题导致的连接难题。还展示了如何通过map方法转换数据集样式，实现数据集的定制化处理。
2024-08-21 11:11:06
1203
原创 使用大模型从政府公文中抽取指标数据
本文介绍了利用LangChain结合Ollama的qwen2:7b模型，从政府工作报告中高效提取全国市级单位年度生产总值增长指标。通过精准文本筛选、few-shot提示和结构化输出，实现了快速准确的数据抽取。实验表明，qwen2模型虽小但性能优异，展现出大模型在自然语言处理中的强大能力。同时，文章还对比了不同模型的优劣势，提供了一些优化建议。
2024-08-14 23:44:51
887
原创 LangGraph 自定义工具调用，大模型使用加法和乘法工具的工作流实现
文章提出了采用few-shot学习的方法，通过给大模型提供几个示例来激活其工具调用能力，而非进行复杂的微调。文章通过构建工作流结构，包括llm节点（生成工具调用和结果输出）和action节点（运行工具调用并输出结果），展示了自动化实现工具调用和结果处理的流程。工作流的优势在于能够简化流程，自动处理大模型输出、工具调用及结果反馈的循环。
2024-08-14 20:40:22
1282
原创 glm4-9B-chat，使用提示工程激活模型最大潜力
作者探讨了如何通过提示词优化大模型的文本生成能力，特别是通过使用Ollama和LangChain来增强细节丰富度和生成范围。文章介绍了GLM4-9B模型的独特性，尤其是其能通过巧妙提示词实现广泛的文本生成能力。作者还分享了一些实用的提示工程技巧，如何引导模型绕过拒答并生成所需内容。
2024-08-13 10:18:34
795
原创 利用langchain 做大模型 Few-shot Learning 提示，包括固定和向量相似的动态样本筛选
本文介绍了Few-shot Learning，相对于大模型微调，通过提供少量样本示例来提升模型在特定任务上的表现。固定样本提示每次使用相同的示例，而动态样本提示则根据当前任务选择相似的示例。通过示例代码展示了如何在LangChain中实现固定和动态样本提示，以及如何利用向量相似度算法选择最相似的样本进行推理，从而提高模型性能。
2024-08-01 20:00:15
1076
原创 llama-factory 系列教程 (六)，linux shell 脚本自动实现批量大模型的训练、部署与评估
使用linux shell 脚本，自动化批量处理大模型的微调、部署与评估。无需人工逐个交互处理，减少人工的精力和时间。
2024-07-31 22:18:15
1345
原创 llama-factory 系列教程 (五)，SFT 微调后的模型，结合langchain进行推理
使用Llamafactory微调模型后，完成vllm的API本地部署，再利用 langchain 工具进行推理。
2024-07-30 21:49:15
911
原创 langchain使用jina-embeddings构建Chroma向量库，解决加载模型初始化失败
使用 `{"trust_remote_code":True}` 传递给 langchain_community.embeddings 的 SentenceTransformerEmbeddings ，逐步解析 `jinaai/jina-embeddings-v2-base-en` 编码模型初始化加载异常的问题。
2024-07-28 11:47:14
923
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人