jieshenai的博客

本文记录了使用 vllm 部署 GLM4-9B-Chat 模型进行 Zero-Shot 文本分类的实验过程与结果。通过对 AG_News 数据集的测试，研究发现大模型在直接进行分类时的准确率为 77%。然而，让模型给出分类原因描述（reason）后，准确率显著提升至 83%，提升幅度达 6%。这一结果验证了引入 reasoning 机制的有效性。文中详细介绍了实验数据、提示词设计、模型推理方法及评估手段。

摘要：本文介绍了如何在Python环境中使用gpt-4o-mini模型，包括Anaconda的安装与配置、创建新的Python虚拟环境、安装langchain与openai相关包、接入OpenAI API（包括使用第三方API站点以规避地域限制）的方法。详细步骤涵盖了环境变量的设置、API密钥的管理、模型调用的代码示例及消费估算。此外，还提供了优化大模型使用效率的建议，如使用多线程、令牌池，以及编写有效提示词的重要性。最后，推荐了相关教程和提示词编写技巧，旨在帮助读者更好地利用大模型进行自然语言处理任务。

本文介绍了利用LangChain结合Ollama的qwen2:7b模型，从政府工作报告中高效提取全国市级单位年度生产总值增长指标。通过精准文本筛选、few-shot提示和结构化输出，实现了快速准确的数据抽取。实验表明，qwen2模型虽小但性能优异，展现出大模型在自然语言处理中的强大能力。同时，文章还对比了不同模型的优劣势，提供了一些优化建议。

文章提出了采用few-shot学习的方法，通过给大模型提供几个示例来激活其工具调用能力，而非进行复杂的微调。文章通过构建工作流结构，包括llm节点（生成工具调用和结果输出）和action节点（运行工具调用并输出结果），展示了自动化实现工具调用和结果处理的流程。工作流的优势在于能够简化流程，自动处理大模型输出、工具调用及结果反馈的循环。

作者探讨了如何通过提示词优化大模型的文本生成能力，特别是通过使用Ollama和LangChain来增强细节丰富度和生成范围。文章介绍了GLM4-9B模型的独特性，尤其是其能通过巧妙提示词实现广泛的文本生成能力。作者还分享了一些实用的提示工程技巧，如何引导模型绕过拒答并生成所需内容。

本文介绍了Few-shot Learning，相对于大模型微调，通过提供少量样本示例来提升模型在特定任务上的表现。固定样本提示每次使用相同的示例，而动态样本提示则根据当前任务选择相似的示例。通过示例代码展示了如何在LangChain中实现固定和动态样本提示，以及如何利用向量相似度算法选择最相似的样本进行推理，从而提高模型性能。

使用linux shell 脚本，自动化批量处理大模型的微调、部署与评估。无需人工逐个交互处理，减少人工的精力和时间。

使用Llamafactory微调模型后，完成vllm的API本地部署，再利用 langchain 工具进行推理。

使用 `{"trust_remote_code":True}` 传递给 langchain_community.embeddings 的 SentenceTransformerEmbeddings ，逐步解析 `jinaai/jina-embeddings-v2-base-en` 编码模型初始化加载异常的问题。

白嫖阿里云人工智能平台PAI三个月 ：上传的数据集、文件、Python 环境会一直存在，关机之后不会删除；

首先使用 llama-factory 微调，得到微调后的 lora 权重；由于 vllm 并没有支持所有的模型；故通用的方式是 将 lora 权重和大模型融合成新的大模型，再由 vllm 推理；在使用 alpaca 样式的数据集微调时，llama-factory 框架在训练时，会自动在prompt 添加 template。所以，在微调大模型后，使用vllm推理时，也要给 vllm 传入 封装好的template。

展示大模型预测输出的数据格式；展示Doccano 命名实体识别导入的数据集格式；提供将大模型输出数据转为Doccano 导入数据集格式代码；

利用 llama-factory 框架，基于 chatglm3-6B 模型 做命名实体识别任务；

本文为 llama-factory SFT系列教程的第二篇；实现了在自定义数据集上 lora 微调大模型；接着融合lora权重进行大模型推理的功能

llama-factory 教程，实现大模型 api 部署；使用 llama_factory 的 API 部署有 vllm加速推理；

使用 modelscope 的 chatglm3-6B，调用 vllm 加速推理，推理速度快很多；我的显卡显存为 24G；chatglm3-6B，如果不用vllm，我的显存不够，必须使用half才能放进显存；使用 vllm 后，vllm 加载的大模型模型权重占用空间会小一点；不使用half，恰好能放进我的显存空间；

使用 向量检索 和 rerank 在给定RAG评估数据集上的实验计算 hit_rate 和 mrr；对比了使用 rerank 和 不使用 rerank的实验结果；基于RAG评估数据集，构建nodes节点；构建自定义的检索器，在检索器中实现 向量检索和 rerank；

本文使用大模型自动生成RAG 问答数据集。使用BM25关键词作为检索器，然后在问答数据集上评估该检索器的效果。输入是一篇文本，使用llamaindex加载该文本，使用prompt让大模型针对输入的文本生成提问。l利用 chatglm3-6B 构建CustomLLM；使用prompt和chatglm，结合文本生成对应的问题，构建RAG问答数据集；构建基于关键词的检索器；评估在数据集上的结果；

使用llama-index结合m3e、chatglm3-6B 基于RAG做智能问答

使用modelscope 下载千问7B模型，利用FastAPI部署成在线的API接口；使用history历史对话多轮问答数据，实现多轮对话；

使用m3e编码模型，利用modelscope下载模型权重。使用langchain的faiss API ，构建向量库，计算用户输入文本与向量库中文本的相似度。