AI-LLM-实战
LLM-实战
木卫二号Coding
悟饭,你也变强了
展开
-
第三十三篇-Ollama+AnythingLLM基本集成
AnythingLLM专属私有知识库,可以使用本地OllamaLLM模型,可以上传文件,基于文件回答问题。原创 2024-06-21 00:01:18 · 290 阅读 · 0 评论 -
第三十二篇-Ollama+Lobe-Chat基本集成配置
现代化设计的开源 ChatGPT/LLMs 聊天应用与开发框架支持语音合成、多模态、可扩展的(function call)插件系统一键免费拥有你自己的 ChatGPT/Gemini/Claude/Ollama 应用。原创 2024-06-17 23:50:22 · 156 阅读 · 0 评论 -
第三十一篇-Ollama+OneAPI基本集成配置
本文介绍使用oneapi+ollama实现openai接口实现。原创 2024-06-13 22:17:55 · 375 阅读 · 0 评论 -
第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度
【代码】第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度。原创 2024-06-11 00:47:29 · 473 阅读 · 0 评论 -
第二十九篇-LM Studio设置国内模型源
第二十九篇-LM Studio设置国内模型源。原创 2024-05-22 21:26:47 · 445 阅读 · 0 评论 -
第二十八篇-Ollama-TeslaP40-Ollama-8B-Qwen1.5-32B等速度
Tesla-P40还是挺令我惊讶的,14B模型速度还是非常好的,有机会大家可以用来试试。原创 2024-04-27 14:50:20 · 723 阅读 · 0 评论 -
第二十七篇-Ollama-加载本地模型文件
可以查看已有下载的modlefile文件内容。等等一段时间会提示完成。原创 2024-04-27 14:01:14 · 1564 阅读 · 2 评论 -
第二十六篇-Ollama-监听本地IP与端口
修改ollama配置使其可以监听0.0.0.0和修改端口,可以外网访问。原创 2024-04-27 14:00:39 · 1877 阅读 · 1 评论 -
第二十五篇-Ollama-离线安装
ollama-离线安装,使用离线方式安装ollama。原创 2024-04-27 10:02:36 · 1261 阅读 · 0 评论 -
第二十四篇-Ollama-在线安装
ollama-在线安装,运行速度相当不错。原创 2024-04-27 09:52:21 · 610 阅读 · 1 评论 -
第二十三篇-15T Tokens LLM 开源数据集-FineWeb
该数据集旨在为大型语言模型(LLM)的训练提供优化的数据处理流程,并使用datatrove库进行处理。FineWeb的性能已超越了RefinedWeb等其他高质量网络数据集。数据集许可: Open Data Commons Attribution License (ODC-By) v1.0。FineWeb是一个由Hugging Face提供的大规模英语网页数据集,包含超过15万亿个经过清洗和去重的token,源自CommonCrawl。原创 2024-04-23 11:08:31 · 420 阅读 · 0 评论 -
第二十二篇-ZincSearch-安装部署
替换ElasticSearchGoLang资源占用少,可ES的API相关连接。原创 2024-03-29 10:55:49 · 383 阅读 · 0 评论 -
第二十一篇-LM-Studio安装部署gguf模型到windows电脑
一般CPU,1B 7B 模型,int4量化还是可以用用的,更大模型推荐GPU。原创 2024-02-28 19:53:46 · 2612 阅读 · 1 评论 -
第二十篇-推荐-纯CPU(E5-2680)推理-llama.cpp-qwen1_5-72b-chat-q4_k_m.gguf
CPU利用2600%左右,42G内存,如果更强的CPU估计还是能到4倍速度吧速度还是可以的,0.6 tokens/s 这个速度还是很慢的,测试一下还是可以的,毕竟是70B的模型呀,继续研究中。原创 2024-02-27 21:46:02 · 883 阅读 · 0 评论 -
第十九篇-推荐-纯CPU(E5-2680)推理-Nous-Hermes-2-Mixtral-8x7B-DPO.Q4_K_M
CPU利用2000% 24线程可再大些速度还是可以的,4 tokens/s 继续研究中,这个CPU还是可以的,要是换成AMD高级CPU估计效果更好,主要是不用GPU。原创 2024-02-23 21:48:15 · 334 阅读 · 0 评论 -
第十八篇-推荐-Huggingface-镜像-2023-11
https://aifasthub.com/modelsAI快站可下载你希望快速的模型权重文件原创 2023-11-21 17:24:24 · 648 阅读 · 0 评论 -
第十七篇-Awesome ChatGPT Prompts-备份-中文(百度翻译)
Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站https://prompts.chat/Awesome ChatGPT Prompts【英文】Awesome ChatGPT Prompts【中文-百度翻译】原创 2023-11-20 16:56:26 · 3154 阅读 · 0 评论 -
第十六篇-Awesome ChatGPT Prompts-备份
Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站。2023-11-16内容如下。原创 2023-11-16 09:26:47 · 1052 阅读 · 0 评论 -
第十五篇-推荐-Huggingface-镜像-2023-10
我们强烈推荐使用 huggingface 官方提供的 huggingface-cli 命令行工具进行模型文件的下载。默认使用多文件并行下载,速度更快。(如需更极致的下载速度,可对文件链接用其他多线程下载工具下载,默认不推荐)域名 hf-mirror.com,用于镜像 huggingface.co 域名。支持排除特定文件或指定特定文件下载,便于用户自定义下载内容。支持指定镜像 endpoint,可直接使用本站镜像服务。支持断点续传,避免因网络中断而导致的文件损坏。推荐一个Huggingface-镜像网站。原创 2023-10-25 21:18:09 · 7736 阅读 · 2 评论 -
第十四篇-问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory
【代码】问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory原创 2023-10-18 22:40:36 · 3075 阅读 · 0 评论 -
第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4
【代码】第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4。原创 2023-09-28 23:36:25 · 940 阅读 · 2 评论 -
第十二篇-Tesla P40+ModelScope+Gradio+QWen+MindChat
本文主要实现Qwen-7B-Chat与MindChat-Qwen-7B的简单部署与测试原创 2023-08-30 00:09:46 · 612 阅读 · 0 评论 -
第十一篇-Tesla P40+Text-Generation-Webui
简单好用(当然速度不是最快的),支持多种方式加载模型,transformers, llama.cpp, ExLlama, AutoGPTQ, GPTQ-for-LLaMa, ctransformers支持多类模型, Llama-2-chat, Alpaca, Vicuna, WizardLM, StableLM等图形化界面聊天,微调。原创 2023-08-22 22:49:32 · 1392 阅读 · 1 评论 -
第十篇-Tesla P40+FastChat+Vicuna-13B-V1.5
我下载模型放在/models/vicuna-13b-v1.5,可以自己定义目录。2.Tesla P40性能还是不行,一个你好要回答15秒。1.内存消耗,8bit需要14G显存。一个一个下载,26文件下载比较耗时。3.后期准备找个性能更好的显卡试试。登录加载完成就可以体验了。原创 2023-08-09 14:21:06 · 575 阅读 · 0 评论 -
第九篇-自我意识数据准备
格式化自我意识数据用于ChatGLM微调。原创 2023-08-02 22:02:13 · 638 阅读 · 0 评论 -
第八篇-Tesla P40+ChatGLM2+LoRA
Tesla P40+ChatGLM2+LoRA+CentOS7原创 2023-08-02 21:45:50 · 1796 阅读 · 0 评论 -
第七篇-Tesla P40+ChatGLM2+P-Tuning
data/train.json【自我意识-训练数据train.json】我使用和train.json一致,正式使用是要使用真实数据。train_loss 要小,如果1,2这种未调出的效果很差。可以替换【AI小木】【小吕】来构建你自己的自我认识数据集。我的是/models/chatglm2-6b。如果调整了数据集,要清理缓存,缓存目录如下。显卡:Tesla P40 24G。下载模型相关文件到自己目录。系统:CentOS-7。修改 train.sh。原创 2023-08-01 23:16:26 · 1096 阅读 · 0 评论 -
第六篇-ChatGLM2-6B-CentOS7安装部署-GPU版
第六篇-ChatGLM2-6B-CentOS安装部署-GPU版原创 2023-07-29 22:18:18 · 1302 阅读 · 0 评论 -
第五篇-ChatGLM2-6B|ChatGLM3-6B模型下载
下载chatglm2-6b|chatglm3-6b模型文件方法一:huggingface页面直接点击下载方法二:snapshot_download下载文件创建下载环境编写代码执行下方法三:清华云盘方法四:异型岛社区版原创 2023-07-29 17:59:34 · 8471 阅读 · 0 评论 -
第四篇-Miniconda3-CentOS7-安装
Miniconda3-CentOS7-安装Conda可以创建你需要的不同版本的Python环境,做的各个环境之间隔离,可以有助于我们一台主机部署不同版本运行环境。原创 2023-07-29 17:19:58 · 689 阅读 · 0 评论 -
第三篇-Tesla P40+CentOS7+CUDA 11.7 部署实践
Tesla P40+CentOS-7+CUDA 11.7 部署实践原创 2023-07-27 21:21:20 · 4213 阅读 · 1 评论 -
第二篇-二手工作站配置-AI-LLM-Tesla P40
硬件配置原创 2023-07-27 21:05:57 · 532 阅读 · 0 评论 -
第一篇-ChatGLM-Webui-Windows安装部署-CPU版
CPU:内存:64G,运行试了下,最少要24G内存,不然电脑卡死显卡:没有使用CPU版,没使用显卡。原创 2023-04-20 00:28:11 · 2368 阅读 · 0 评论