![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI-大模型
AI-大模型相关
qyhua
专业软件开发。
展开
-
一个优秀的开源ChatGpt外壳项目(lobe-chat)
开源、现代化设计的 ChatGPT/LLMs 聊天应用与开发框架支持语音合成、多模态、可扩展的插件系统,一键拥有你自己的 ChatGPT/Gemini/Ollama 应用。原创 2024-03-20 15:52:04 · 1271 阅读 · 0 评论 -
打造本地GPT专业领域知识库AnythingLLM+Ollama
如果你觉得openai的gpt没有隐私,或者需要离线使用gpt,还是打造专业领域知识,可以借用AnythingLLM+Ollama轻松实现本地GPT.原创 2024-05-13 17:34:24 · 1609 阅读 · 0 评论 -
拉取模型数据 pass a token having permission to this repo either by logging in with `huggingface-cli login`
huggingface.co 拉取模型数据,授权同意后,再次运行项目即可正常拉取模型原创 2024-07-04 17:10:12 · 272 阅读 · 0 评论 -
一个python文件实现openai 转换请求转换成 ollama
最近在微软开源了GraphRAG,项目,是一个很棒的项目,本着研究学习的态度下载了该项目测试,发现目前只可以使用openai chat gpt,或azure open chat gpt,也就是说意味着资料要上传到第三方网站处理,为了本地的ollama也可以使用特意开发了个openai chat请求转换成 ollama代理工具,只需一个python类即可实现openai chat gpt格式转换成本地使用的ollama格式。原创 2024-07-08 13:32:55 · 203 阅读 · 0 评论 -
PEFT LoRA 介绍(LoRA微调使用的参数及方法)
官网简介如下图:翻译过来是:低秩自适应(LoRA)是一种PEFT方法,它将一个大矩阵在注意层分解成两个较小的低秩矩阵。这大大减少了需要微调的参数数量。说的只是针对注意力层,其实我自己平时微调操作注意力层+多层感知机层,感觉所有层都可以微调。在阿里的千问开源的模型文档上也看到微调的并不只有注意力层,不知道微调加入其它层效果会不会更好?原创 2024-07-26 13:18:05 · 848 阅读 · 0 评论 -
langchain框架轻松实现本地RAG
RAG(Retrieval-Augmented Generation)是一种结合了检索和生成模型的方法,主要用于解决序列到序列的任务,如问答、对话系统、文本摘要等。它的核心思想是通过从大量文档中检索相关信息,然后利用这些信息来增强生成模型的输出。原创 2024-07-04 21:44:24 · 1105 阅读 · 2 评论 -
最简单的本地大模型应用,普通用户也可以轻松安装使用(LM studio)
LM Studio是一个功能丰富的平台,旨在帮助用户轻松地与最新的语言模型(LLM)进行交互和实验,无需互联网连接即可在个人设备上运行。这些功能使得LM Studio成为研究者、开发者和对自然语言处理技术感兴趣的个人的理想工具,特别是在需要高性能和隐私保护的应用场景中。得益于llama.cpp项目的基础工作,LM Studio能够实现高效且资源友好的模型运行环境。原创 2024-07-15 15:05:13 · 722 阅读 · 0 评论 -
本地GPT-window平台 搭建ChatGLM3-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,新一代开源模型已发布,拥有10B以下最强的基础模型,支持工具调用(Function Call)、代码执行(Code Interpreter)、Agent 任务等功能,结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。原创 2024-06-12 12:07:19 · 1078 阅读 · 0 评论 -
在window平台大模型LoRA微调实战(完整代码带数据)
本次微调最开始是打算使用Qwen/Qwen-1_8B-Chat的模型作为微调对象,调试过程中不断报GPU显存不够,该模型需要的显存超过12G,因此后面改用 Qwen/Qwen1.5-0.5B-Chat 模型。这里的注意力投影与多层感知的层作是:"c_attn", "c_proj", "w1", "w2"从上面对比图可以看出,微调后的回答的答案与模型合并的模型都差不多效果,比较准确。微调前回复答案明显多了一些不像关键字的没有微调后的好,说明确实有效果。方法保存微调后的模型到指定目录。我们调整大模型哪些层,原创 2024-07-24 18:47:24 · 944 阅读 · 0 评论 -
ollama unable to load any llama server“ error=“[0] server cpu not listed in available servers map[]
ollama报错:unable to load any llama server" error="[0] server cpu not listed in available servers map[]其实OLLAMA_RUNNERS_DIR 是在自动升级后报错提示要求设置 OLLAMA_RUNNERS_DIR变量,根据这个错误提示挖坑给自己。如果不行直接用重装即可。原创 2024-07-03 13:29:26 · 538 阅读 · 0 评论 -
简单实现一个本地ChatGPT web服务(langchain框架)
简单实现一个本地ChatGPT 服务,用到langchain框架,fastapi,并且本地安装了ollama。服务端非常简单,后面再写个前端对接一下即可方便使用。原创 2024-07-11 10:43:05 · 400 阅读 · 0 评论 -
代码生成-CodeGeeX2本地部署体验
CodeGeeX2 是多语言代码生成模型) 的第二代模型。不同于一代 CodeGeeX(完全在国产华为昇腾芯片平台训练) ,CodeGeeX2 是基于架构加入代码预训练实现,得益于 ChatGLM2 的更优性能,CodeGeeX2 在多项指标上取得性能提升(+107% > CodeGeeX;原创 2024-06-13 18:09:52 · 1081 阅读 · 0 评论 -
保存huggingface缓存中AI模型(从本地加载AI模型数据)
在github下拉项目后,首次运行时会下拉一堆模型数据,默认是保存在缓存的,如果你的系统盘空间快满的时候就会被系统清理掉,每次运行又重新下拉一次,特别麻烦。默认下载的缓存路径如下:C:\Users\用户名\.cache\huggingface\hub。成功从本地加AI数据模型。原创 2024-07-04 18:30:15 · 199 阅读 · 0 评论