自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(169)
  • 资源 (4)
  • 收藏
  • 关注

原创 第四十篇-TeslaP40+Ollama+Ollama-WebUI(自编译)

本文介绍用自己编辑ollama-webui,链接本地ollama。

2024-08-28 23:37:29 622

原创 第三十九篇-TeslaP40+CosyVoice-安装

以上文本,在P40中大概20秒生成,GPU显存消耗 2126MiB GPU 90%~100%可以先下载CosyVoice-300M-Instruct与CosyVoice-ttsfrd。

2024-08-28 21:44:52 449

原创 Docker拉取镜像-2024-07-有效

Docker拉取镜像。2024-07

2024-08-26 16:19:50 282

原创 第三十八篇-TeslaP40-SenseVoice部署,速速杠杠的

TeslaP40-SenseVoice部署,速速杠杠的,P40默认跑SenseVoice,识别1分钟的音频3秒完成,识别的准确率还是很好的,有待进一步测试。

2024-08-24 00:31:58 243

原创 CentOS7+Python+Flask+Https服务

确认Openssl存在req 是 OpenSSL 工具的一个子命令,用于处理证书签名请求。-newkey rsa:2048 选项表示要创建一个新的 RSA 密钥,并将其长度设置为 2048 位。这个密钥将用于后续的证书请求和签名操作。-nodes 选项表示不要对私钥进行加密,即使私钥被泄露也不会对其进行保护。这在测试和开发过程中很有用,但在生产环境中不建议使用。-keyout example.key 选项指定了生成的私钥文件的路径和名称。

2024-08-22 22:35:32 401

原创 第三十七篇-OpenCompass本地评测InternLM-1.8B

【代码】第三十七篇-OpenCompass评测InternLM-1.8B。

2024-08-15 12:30:32 161

原创 CentOS7-离线安装Code-Server,WEB界面

【代码】CentOS7-离线安装Code-Server。

2024-07-26 23:06:10 331

原创 第三十六篇-基于MedicalGPT微调大模型、PT、SFT、RM、RL

基于MedicalGPT微调大模型,PT,SFT,RM,RL

2024-07-26 09:28:06 356

原创 ImportError: cannot import name ‘is_mlu_available‘ from ‘accelerate.utils‘异常处理

ImportError: cannot import name 'is_mlu_available' from 'accelerate.utils'pip install --upgrade accelerate

2024-07-25 11:14:54 2528

原创 宝塔安装完成,但访问https宝塔面板404,可以试试如下操作

使用http登录成功,后面再看是什么原因。选 14 查看登录信息,和密码。选 26 关闭面板ssl。

2024-07-22 23:34:07 739

原创 第三十五篇-各大模型测评地址和说明集合

llm任务进行基准测试,包括AI2推理挑战、HellaSwag、MMLU等。

2024-07-19 18:07:35 860

原创 第三十四篇-学习构建自己的Agent

https://github.com/shibing624/agentica (原项目名:actionflow)该项目可以学习如何构建Agent,可以使用ollama。

2024-07-03 09:16:31 180

原创 第三十三篇-Ollama+AnythingLLM基本集成

AnythingLLM专属私有知识库,可以使用本地OllamaLLM模型,可以上传文件,基于文件回答问题。

2024-06-21 00:01:18 513

原创 第三十二篇-Ollama+Lobe-Chat基本集成配置

【代码】第三十二篇-Ollama+Lobe-Chat基本集成配置。

2024-06-17 23:50:22 312

原创 第三十一篇-Ollama+OneAPI基本集成配置

本文介绍使用oneapi+ollama实现openai接口实现。

2024-06-13 22:17:55 2212

原创 第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度

【代码】第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度。

2024-06-11 00:47:29 828

原创 为开发人员提供方便的在线工具

自己部署了一个在线工具库如能如下。

2024-05-27 14:35:55 145

原创 第二十九篇-LM Studio设置国内模型源

第二十九篇-LM Studio设置国内模型源。

2024-05-22 21:26:47 1187

原创 第二十八篇-Ollama-TeslaP40-Ollama-8B-Qwen1.5-32B等速度

Tesla-P40还是挺令我惊讶的,14B模型速度还是非常好的,有机会大家可以用来试试。

2024-04-27 14:50:20 1214

原创 第二十七篇-Ollama-加载本地模型文件

可以查看已有下载的modlefile文件内容。等等一段时间会提示完成。

2024-04-27 14:01:14 4324 2

原创 第二十六篇-Ollama-监听本地IP与端口

修改ollama配置使其可以监听0.0.0.0和修改端口,可以外网访问。

2024-04-27 14:00:39 6153 1

原创 第二十五篇-Ollama-离线安装

ollama-离线安装,使用离线方式安装ollama。

2024-04-27 10:02:36 3521

原创 第二十四篇-Ollama-在线安装

ollama-在线安装,运行速度相当不错。

2024-04-27 09:52:21 1224 3

原创 第二十三篇-15T Tokens LLM 开源数据集-FineWeb

该数据集旨在为大型语言模型(LLM)的训练提供优化的数据处理流程,并使用datatrove库进行处理。FineWeb的性能已超越了RefinedWeb等其他高质量网络数据集。数据集许可: Open Data Commons Attribution License (ODC-By) v1.0。FineWeb是一个由Hugging Face提供的大规模英语网页数据集,包含超过15万亿个经过清洗和去重的token,源自CommonCrawl。

2024-04-23 11:08:31 483

原创 第二十二篇-ZincSearch-安装部署

替换ElasticSearchGoLang资源占用少,可ES的API相关连接。

2024-03-29 10:55:49 528

原创 第二十一篇-LM-Studio安装部署gguf模型到windows电脑

一般CPU,1B 7B 模型,int4量化还是可以用用的,更大模型推荐GPU。

2024-02-28 19:53:46 3400 1

原创 第二十篇-推荐-纯CPU(E5-2680)推理-llama.cpp-qwen1_5-72b-chat-q4_k_m.gguf

CPU利用2600%左右,42G内存,如果更强的CPU估计还是能到4倍速度吧速度还是可以的,0.6 tokens/s 这个速度还是很慢的,测试一下还是可以的,毕竟是70B的模型呀,继续研究中。

2024-02-27 21:46:02 1088

原创 第十九篇-推荐-纯CPU(E5-2680)推理-Nous-Hermes-2-Mixtral-8x7B-DPO.Q4_K_M

CPU利用2000% 24线程可再大些速度还是可以的,4 tokens/s 继续研究中,这个CPU还是可以的,要是换成AMD高级CPU估计效果更好,主要是不用GPU。

2024-02-23 21:48:15 404

原创 第十八篇-推荐-Huggingface-镜像-2023-11

https://aifasthub.com/modelsAI快站可下载你希望快速的模型权重文件

2023-11-21 17:24:24 694

原创 第十七篇-Awesome ChatGPT Prompts-备份-中文(百度翻译)

Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站https://prompts.chat/Awesome ChatGPT Prompts【英文】Awesome ChatGPT Prompts【中文-百度翻译】

2023-11-20 16:56:26 3303

原创 第十六篇-Awesome ChatGPT Prompts-备份

Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站。2023-11-16内容如下。

2023-11-16 09:26:47 1129

原创 第十五篇-推荐-Huggingface-镜像-2023-10

我们强烈推荐使用 huggingface 官方提供的 huggingface-cli 命令行工具进行模型文件的下载。默认使用多文件并行下载,速度更快。(如需更极致的下载速度,可对文件链接用其他多线程下载工具下载,默认不推荐)域名 hf-mirror.com,用于镜像 huggingface.co 域名。支持排除特定文件或指定特定文件下载,便于用户自定义下载内容。支持指定镜像 endpoint,可直接使用本站镜像服务。支持断点续传,避免因网络中断而导致的文件损坏。推荐一个Huggingface-镜像网站。

2023-10-25 21:18:09 8213 2

原创 第十四篇-问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory

【代码】问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory

2023-10-18 22:40:36 4012

原创 第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4

【代码】第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4。

2023-09-28 23:36:25 1023 2

原创 第十二篇-Tesla P40+ModelScope+Gradio+QWen+MindChat

本文主要实现Qwen-7B-Chat与MindChat-Qwen-7B的简单部署与测试

2023-08-30 00:09:46 684

原创 第十一篇-Tesla P40+Text-Generation-Webui

简单好用(当然速度不是最快的),支持多种方式加载模型,transformers, llama.cpp, ExLlama, AutoGPTQ, GPTQ-for-LLaMa, ctransformers支持多类模型, Llama-2-chat, Alpaca, Vicuna, WizardLM, StableLM等图形化界面聊天,微调。

2023-08-22 22:49:32 1451 1

原创 第十篇-Tesla P40+FastChat+Vicuna-13B-V1.5

我下载模型放在/models/vicuna-13b-v1.5,可以自己定义目录。2.Tesla P40性能还是不行,一个你好要回答15秒。1.内存消耗,8bit需要14G显存。一个一个下载,26文件下载比较耗时。3.后期准备找个性能更好的显卡试试。登录加载完成就可以体验了。

2023-08-09 14:21:06 632

原创 第九篇-自我意识数据准备

格式化自我意识数据用于ChatGLM微调。

2023-08-02 22:02:13 703

原创 第八篇-Tesla P40+ChatGLM2+LoRA

Tesla P40+ChatGLM2+LoRA+CentOS7

2023-08-02 21:45:50 1894

原创 第七篇-Tesla P40+ChatGLM2+P-Tuning

data/train.json【自我意识-训练数据train.json】我使用和train.json一致,正式使用是要使用真实数据。train_loss 要小,如果1,2这种未调出的效果很差。可以替换【AI小木】【小吕】来构建你自己的自我认识数据集。我的是/models/chatglm2-6b。如果调整了数据集,要清理缓存,缓存目录如下。显卡:Tesla P40 24G。下载模型相关文件到自己目录。系统:CentOS-7。修改 train.sh。

2023-08-01 23:16:26 1149

The Llama 3 Herd of Models.pdf

The Llama 3 Herd of Models.pdf

2024-07-24

自我意识-训练数据train.json

自我意识-训练数据train.json

2023-08-01

标签类目体系-面向业务的数据资产设计方法论-员工-标签设计列表

员工-标签设计列表

2023-03-27

标签类目体系-面向业务的数据资产设计方法论-用户-标签设计列表

用户-标签设计列表

2023-03-27

标签类目体系-面向业务的数据资产设计方法论-企业通用-标签设计列表

企业通用-标签设计列表

2023-03-27

标签类目体系-面向业务的数据资产设计方法论-企业通用-标签设计列表

企业通用-标签设计列表

2023-03-27

automa-chrome-v1.27.2.zip 网页端自动化扩展工具-Automa

网页端自动化扩展工具-Automa

2023-03-23

深度学习搜索引擎开发-Java实现-源代码.zip

深度学习搜索引擎开发-Java实现-源代码.zip

2021-07-20

xmlpull_1_0_5

xmlpull_1_0_5_al,

2014-11-03

spring-security3.2

spring-security-3.2.0.M1-dist.zip

2014-01-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除