![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型实战应用
大模型实战应用
fc&&fl
向风学习飞翔
展开
-
完成stable将图片转换为二维码
sd-webui-controlnet不显示,报错ImportError: cannot import name 'load_file_from_url' from 'modules.modelloader'1)首先会遇到安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple basicsr==1.4.2卡住的问题。3.安装依赖(-i https://pypi.tuna.tsinghua.edu.cn/simple 清华源安装)原创 2024-07-29 16:17:34 · 693 阅读 · 0 评论 -
llama3.1-8B-微调
库中用于特定任务(例如微调)的训练类。代码配置了训练参数、数据集和模型,并为训练过程定义了一些关键设置。3)应用LoRA技术来减少模型训练和推理时的内存使用,同时保持模型性能。进行模型推理,生成一个给定指令的响应。9)推送模型到hugging-face。4)加载一个数据集,并规范格式。实例,用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。原创 2024-07-26 15:09:49 · 303 阅读 · 0 评论 -
GraphRAG+ollama+LM Studio+chainlit
这里我们进一步尝试将embedding模型也换为本地的,同时熟悉一下流程和学一些新的东西1.环境还是用之前的,这里我们先下载LLM然后你会在下载nomic模型的时候崩溃,因为无法搜索,无法下载解决办法如下按照上面的教程依旧无法下载模型,但是可以搜索了,没什么用直接hugging face下载,然后导入llm models文件夹注意有格式要求将模型放在这个文件夹里才能被识别,然后加在模型然后修改配置。原创 2024-07-19 14:43:05 · 615 阅读 · 0 评论 -
GraphRAG的实践
好久没有体验新技术了,今天来玩一下GraphRAG顾名思义,一种检索增强的方法,利用图谱来实现RAG。原创 2024-07-19 12:06:55 · 444 阅读 · 1 评论 -
一个非常好用的RAG应用项目
直接拿下需要有key。原创 2024-07-09 10:20:53 · 139 阅读 · 0 评论 -
使用MoA(Mixture of Agents)混合智能体技术,结合多个开源大语言模型如Llama3、phi-3和Mistral,实现一个强大的AI智能体
论文提出了一种称为混合智能体(Mixture-of-Agents,MoA)的方法,利用多个大语言模型(LLM)的集体智慧来提高自然语言理解和生成任务的性能。MoA采用了分层结构,每一层包含多个LLM智能体。每个智能体都将前一层所有智能体的输出作为辅助信息来生成自己的回答。通过迭代地综合和优化回答,MoA可以充分利用不同LLM的独特优势。实验发现,即使其他模型提供的辅助回答质量较低,LLM也倾向于生成更好的回答,体现出LLM具有内在的协作性。MoA正是利用了这种协作性。原创 2024-06-27 14:15:13 · 725 阅读 · 0 评论 -
vLLM本地部署GLM-4-9b大模型,ChatTTS+AutoGen实现多AI对话转语音!打造AI小说智能体!AI写高考作文
5)使用pyautogen完成用glm进行高考作文编写,并用gpt3-5评审的流程。8) chatTTS调用autogen的代码。3)用vllm以openai接口的形式运行。6)本地部署chatTTS(文字转语音)7)测试chatTTS。2)去魔塔社区下载模型。原创 2024-06-27 12:06:43 · 510 阅读 · 0 评论 -
Maestro实践
他就会生成对应的md文档和对应的文件夹结构,文档里面有对应的文件的内容,需要你自己创建文件并复制粘贴,我运行了一下,效果非常lllllllllllllllllllow。初步使用了一下,可能是我使用不当,感觉并没有很厉害。可能是我模型选的不对,而且还是量化过的,就这吧。比如我允许之后输入一个生成贪吃蛇小游戏。2)我用的是ollama。原创 2024-06-27 10:22:12 · 285 阅读 · 0 评论 -
使用ollama部署llama3-8B
接口中的url为部署llama3的主机的ip地址(ipconfig)如果你不仅仅满足于本地自己调试,还希望同事也能够访问。那么按照下面步骤走(windows系统)然后同一个局域网下就可以访问了。原创 2024-04-23 16:25:09 · 909 阅读 · 0 评论 -
大模型应用记录
文字版教程见:https://xtx0o8yn7x.feishu.cn/docx/UOAadjjReoI6UBxPq4lcI9frnMb。使用llama-factory记录。本地大模型外挂知识库。转载 2024-05-14 17:55:08 · 24 阅读 · 0 评论 -
llama使用tutorial微调(windows版本)
streamlit run .\Llama3-Tutorial\tools\internstudio_web_demo.py .\model\Meta-Llama-3-8B-Instruct\(注意自己的路径)2.注意llama3_8b_instruct_qlora_assistant.py也需要修改对应的目录路径。前期的安装还是要按照教程搞的。剩下的都是我修改后的。原创 2024-05-16 12:08:28 · 430 阅读 · 0 评论 -
微调Llama3实现在线搜索引擎和RAG检索增强生成功能
2.phidata---->cookbook---->llms--->ollama--->rag里面 有示例和教程。修改assigant.py中的14行代码,将llama3改为自己微调好的模型。3.我们选择将hugging face上微调好的模型下载下来(点击提示的网页获取token(注意要选择可写的)2.微调代码(要先登录一下)4.模型导入ollama。3.运行app.py。原创 2024-05-21 14:23:58 · 831 阅读 · 0 评论 -
ollama导入自己微调后的模型胡言乱语
原因:Modelfile的模板格式不对,对的如下所示。1.ollama导入自己微调后的模型胡言乱语。下载llama.cpp。原创 2024-05-21 14:38:15 · 843 阅读 · 0 评论 -
llama_factory的使用
1.git clone llama_factory到本地。4.数据文件放在data里面,仿照模板里的格式。5.进入llama_factory微调页面。2.记得安环境,在clone后。3.多显卡要设置一下。原创 2024-05-21 15:31:18 · 468 阅读 · 0 评论 -
使用ollama + webui+docker 运行任意大模型
访问本地ip+3000就行了。原创 2024-05-28 11:25:57 · 369 阅读 · 0 评论 -
AnythingLLM+Ollama实践
创造未来知识管理新篇章:Ollama与AnythingLLM联手打造个人与企业的安全知识库!转载 2024-05-28 11:37:43 · 144 阅读 · 0 评论 -
RAGFlow (https://github.com/infiniflow/ragflow/blob/main/README.md)
一个非常好的项目,可以让你用ollama部署的模型和自带rag的功能,界面也很清爽。使用教程看README.md就可以,从下面开始。原创 2024-05-28 17:42:22 · 269 阅读 · 0 评论 -
longchain+ollama实现rag
【代码】longchain+ollama实现rag。原创 2024-05-28 17:49:07 · 189 阅读 · 0 评论 -
多模态开源项目实战(https://github.com/QwenLM/Qwen-VL)
home/cxh/.conda/envs/env_name/bin/pytweb_demo_mm.py(在root下以cxh的conda环境运行)(这个问题困扰了我很久,是因为我在公司的4090服务器上的一个用户cxh,需要以root来运行)pip install transformers==4.33.0 即可解决。原创 2024-05-29 17:18:40 · 208 阅读 · 0 评论 -
声音模拟(GPT-SoVITS)和翻译
1.GPT-SoVITS2.翻译。原创 2024-05-31 11:25:15 · 440 阅读 · 0 评论 -
Stable Diffusion 3 大模型文生图实践
5)调整参数,生成图片:我们可以修改工作流中任意一个参数(最常修改的是Prompt提示词,包括正面和负面提示词),也可以点击右键增加工作流节点。最终参数调整确定之后,点击。4)在克隆好的项目models目录下放入大模型对应文件。1)进入comfuUI根目录,安装python包。3)下载ComfyUI工作流可视化工具。4)加载修改后的工作流配置文件:点击。1)创建conda环境。等模型文件的文件夹。等模型文件的文件夹。原创 2024-06-19 12:10:31 · 948 阅读 · 0 评论 -
ChatTTS 开源文本转语音模型本地部署
4.运行测试py文件,记得将路径换为自己的。:如果下载过程中,若出现找不到。2.下载chatTTS源码。3.进入源码目录,批量安装。5.进行webui展示。原创 2024-06-19 13:56:24 · 612 阅读 · 0 评论 -
nllb-200 本地部署
使用facebook的开源翻译模型。原创 2024-06-19 14:31:27 · 462 阅读 · 0 评论 -
AI换脸实践
如果本地缓存有冲突依赖包安装失败 ,可执行 pip install --no-cache-dir -r requirements.txt。安装依赖包 pip install -r requirements.txt。激活虚拟环境 call venv\scripts\activate。创建虚拟环境 python -m venv venv。查看已安装包 pip list。1)克隆roop项目。原创 2024-06-19 15:37:11 · 434 阅读 · 0 评论 -
3D生成实践
一定要选一个稳定的vpn,不然会让你难受死,一直下载失败。而且运行之后非常吃显存。原创 2024-06-19 16:37:16 · 161 阅读 · 0 评论 -
Stability-AI(图片生成视频)
运行windows版本:下面是绘画部分。原创 2024-06-20 18:01:57 · 424 阅读 · 0 评论 -
使用VLLM部署llama3量化版
messages=["}原创 2024-06-21 18:30:09 · 477 阅读 · 0 评论 -
longchain实践
对话的一个重要组成部分是对话历史中的信息。我们将这种存储对话历史中的信息的能力称为"记忆"。Langchain的支持众多模型供应商,包括OpenAI、ChatGLM、HuggingFace等。2)可以调用huggingface的模型,也可以调用openai的。它的核心思想是利用一个语言模型来选择一系列要执行的动作。提供了一系列的类和函数,简化构建和处理提示词的过程。的子类可以实现这些回调函数来处理事件。接口对每一个可订阅的事件定义了一个回调函数。的链将一系列的动作硬编码在代码中。会调用相应的回调函数。原创 2024-06-26 11:59:48 · 713 阅读 · 0 评论