自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(880)
  • 资源 (8)
  • 收藏
  • 关注

原创 LangChain llamaindex

参考:全流程 | Windows 系统本地部署开源模型阿里通义千问 QWEN 1.5,结合 LangChain-Chatchat 框架和向量数据库 FAISS、Milvus - 知乎

2024-05-24 17:41:19 169

原创 大语言模型量化方法对比:GPTQ、GGUF、AWQ 包括显存和速度

AWQ(激活感知权重量化),它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速,同时保持了相似的,有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法,允许用户使用CPU来运行LLM,但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢,但对于那些在CPU或苹果设备上运行模型的人来说,这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法,主要关注GPU推理和性能。

2024-05-15 16:15:46 295

原创 GPU 显存释放

【代码】GPU 显存释放。

2024-05-15 16:00:41 71

原创 sd sdxl diffusers GPU 显存 优化

【代码】sd sdxl diffusers GPU 显存 优化。

2024-04-15 11:20:55 273

原创 python argparse 简单实用

【代码】python argparse 简单实用。

2024-04-08 15:25:59 112

原创 from_pretrained 做了啥

transformers的三个核心抽象类是Config, Tokenizer和Model,这些类根据模型种类的不同,派生出一系列的子类。构造这些派生类的对象也很简单,transformers为这三个类都提供了自动类型,即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法,这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。

2024-03-22 15:56:16 1210

原创 ubuntu apt source 源

【代码】ubuntu apt source 源。

2024-03-19 11:40:53 351

原创 float32 float16 bfloat16 推理训练GPU速度和内存调研

概念:3种数量类型表示的数据范围不一样,以float32为例其中有1个符号位,8位表示指数,23位表示尾数标准训练推理是用的float32,但是占用GPU显存太大,所以优化的方向就是一般就是,时间换空间或者是减少float32位精度。

2024-03-11 16:49:04 555

原创 llm llama GPU 内存/显存计算

Calculating GPU memory for serving LLMs | Substratus.AI

2024-03-04 11:10:01 472

原创 国产大模型 翻译方面应用

智谱华章GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型参考:https://github.com/wgwang/awesome-LLMs-In-China?tab=readme-ov-file

2024-02-29 13:53:28 359

原创 翻译平台&翻译模型&大模型 英翻中 en-zh 评测

评测语句。

2024-02-29 13:08:43 595

原创 MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu

【代码】MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu。

2024-02-28 17:55:22 411 1

原创 实时文字to图:SDXL Turbo 和 LCM-LoRA

根据目前的实际使用情况。

2024-02-19 21:55:11 358

原创 ubuntu 安装 ffmpeg 6.0

【代码】ubuntu 安装 ffmpeg 6.0。

2024-02-04 16:16:38 723

原创 sd_xl_turbo from_single_file 本地加载

【代码】sd_xl_turbo from_single_file 本地加载。

2024-02-02 16:01:19 484

原创 ubuntu 安装python3.10

方法一:How to Install Python 3.10 on Ubuntu 22.04 or 20.04 - LinuxCapable方法二:Ubuntu python3.10 安装教程,并更新python,pip默认指向为python3.10, pip3(超详细教程)_apt-get install python-CSDN博客

2024-01-29 14:17:51 834

原创 ubuntu 安装 nvidia 驱动

【代码】ubuntu 安装 nvidia 驱动。

2024-01-26 18:41:50 757

原创 FileNotFoundError supervisor/xmlrpc

【代码】FileNotFoundError supervisor/xmlrpc。

2024-01-23 14:24:38 339

原创 huggingface 连不上 from_pretrained from_single_file

huggingface的缓存目录 ~/.cach。

2024-01-12 17:12:00 548

原创 PYTORCH 依赖 cuda 11.8 , cuda 12.1 cpu 里 torch torchvision torchaudio对应关系

1、强大的GPU加速的张量计算(NumPy)。2、自动求导系统的深度神经网络。

2024-01-11 17:25:37 1187

原创 node `GLIBC_2.28‘ not found (required by node)

是linux底层的API库。通常情况下,有些环境需要glibc更高的版本才支持,比如GLIBC_2.28。glibc库对linux系统非常重要,轻易不要更换。如果需要更换,需提前备份好原本的相关库以防万一。

2024-01-11 14:53:06 867

原创 python gradio 笔记

参考:官方文档。

2024-01-08 16:32:34 619

原创 ubuntu ssh 免密

【代码】ubuntu ssh 免密。

2024-01-04 16:30:52 406

原创 onnxruntime 不使用 gpu

检查 onnxruntime 和 cuda 和 cudnn 的版本对应关。检查安装的 onnx。

2023-12-27 14:16:47 403

原创 ubuntu 守护进程 supervisor

【代码】ubuntu 守护进程 supervisor。

2023-12-25 11:55:27 675

原创 shell bash 参数

【代码】shell bash 参数。

2023-12-22 11:34:50 47

原创 ubuntu 搭建本地私有pip源

【代码】ubuntu 搭建本地私有pip源。

2023-12-21 15:57:50 324

原创 git push bad line length

【代码】git push bad line length。

2023-12-13 22:00:00 53

原创 git apt wget 全局设置代理

【代码】git 设置代理。

2023-12-13 14:51:46 437

原创 Git 服务器上的 LFS 下载

Git 服务器上的 LFS 下载-CSDN博客

2023-12-12 13:31:32 53

原创 vscode debug 调试 launch.json

【代码】vscode debug 调试 launch.json。

2023-12-12 12:45:10 106

原创 ubuntu dns 相关

【代码】ubuntu dns 相关。

2023-12-12 10:20:14 162

原创 ubuntu 命令行安装 conda

找到对应的版本,右键点复制链接。

2023-12-11 22:53:31 237

原创 windows 建立局域网lan 代理服务器

【代码】windows 建立局域网lan 代理服务器。

2023-12-11 16:19:51 99

原创 人脸检测,人脸识别综述

RetinafaceSCRFD。

2023-12-08 17:50:31 80

原创 AI 训练框架:Pytorch TensorFLow MXNet Caffe ONNX PaddlePaddle

https://medium.com/jit-team/bridge-tools-for-machine-learning-frameworks-3eb68d6c6558

2023-12-08 15:49:13 669

原创 onnx nvidia cuda cudnn driver 各种版本对应

onnx 和 nvidia cuda, nvidia cudnn 之间对应关系。

2023-12-01 19:46:11 642

原创 crontab 无法激活、启动 pyenv failed to activate virtualenv

后来根据 vscode 里启动调试的代码,把python换成pyenv里的对应的python路径就行。报错 failed to activate virtualenv。root crontab 无法激活、启动 pyenv。根据搜索结果,把pyenv换成绝对路径。

2023-11-17 12:32:32 279

原创 uniapp 离线打包 ios umeng友盟统计

参考。

2023-11-06 17:05:31 135

原创 uniapp 离线打包 google 登录

clientid 是 xxxx.apps.googleusercontent.com。反向url 是 com.googleusercontent.apps.xxx。其中有 clientid 和反向url。

2023-11-02 18:54:30 542

iphone全国省市城市数据库源码(例子)

iphone ios 全国省市,城市数据库(sqlite3, UIPickerView)源码(例子)与解析

2012-05-28

Symbian如何判断当前处于主界面.zip

Symbian如何判断当前处于主界面.zip,源码

2010-09-14

symbian signed指南.pdf

symbian signed指南.pdf nokia官方指南

2010-09-14

symbian短信拦截silentsms

symbian短信拦截silentsms,源码。来自devdiv

2010-08-29

mp4info格式查看软件

查看 mp4 树 box 内容 节点 格式查看软件

2010-08-09

xvid api中文文档

xvid api中文文档,pdf格式.包含一些接口应用

2010-03-08

symbian 论坛大大hoolee的QA CHM版

热心网友整理的symbian 论坛http://discussion.forum.nokia.com/大仙hoolee的QA.很全面

2010-01-21

symbian初学宝典

symbian初学一些文档合集symbian初学一些文档合集symbian初学一些文档合集

2009-08-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除