- 博客(884)
- 资源 (8)
- 收藏
- 关注
原创 whisper get_writer srt_writer 参数说明
【代码】whisper get_writer srt_writer 参数说明。
2024-06-25 14:41:17
318
原创 pip install 安装 torch cuda 11.8 cu118
百度了一下,有推荐这么改的,速度还是慢,因为还是转到官网 pytorch.org。最终采用 其中的版本 2.3.1,可以看看 pip 源。默认安装,速度比较慢。
2024-06-18 19:16:09
508
原创 LangChain llamaindex
参考:全流程 | Windows 系统本地部署开源模型阿里通义千问 QWEN 1.5,结合 LangChain-Chatchat 框架和向量数据库 FAISS、Milvus - 知乎
2024-05-24 17:41:19
204
原创 大语言模型量化方法对比:GPTQ、GGUF、AWQ 包括显存和速度
AWQ(激活感知权重量化),它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速,同时保持了相似的,有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法,允许用户使用CPU来运行LLM,但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢,但对于那些在CPU或苹果设备上运行模型的人来说,这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法,主要关注GPU推理和性能。
2024-05-15 16:15:46
1628
原创 from_pretrained 做了啥
transformers的三个核心抽象类是Config, Tokenizer和Model,这些类根据模型种类的不同,派生出一系列的子类。构造这些派生类的对象也很简单,transformers为这三个类都提供了自动类型,即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法,这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。
2024-03-22 15:56:16
1544
原创 float32 float16 bfloat16 推理训练GPU速度和内存调研
概念:3种数量类型表示的数据范围不一样,以float32为例其中有1个符号位,8位表示指数,23位表示尾数标准训练推理是用的float32,但是占用GPU显存太大,所以优化的方向就是一般就是,时间换空间或者是减少float32位精度。
2024-03-11 16:49:04
735
原创 llm llama GPU 内存/显存计算
Calculating GPU memory for serving LLMs | Substratus.AI
2024-03-04 11:10:01
493
原创 国产大模型 翻译方面应用
智谱华章GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型参考:https://github.com/wgwang/awesome-LLMs-In-China?tab=readme-ov-file
2024-02-29 13:53:28
373
原创 MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu
【代码】MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu。
2024-02-28 17:55:22
485
1
原创 ubuntu 安装python3.10
方法一:How to Install Python 3.10 on Ubuntu 22.04 or 20.04 - LinuxCapable方法二:Ubuntu python3.10 安装教程,并更新python,pip默认指向为python3.10, pip3(超详细教程)_apt-get install python-CSDN博客
2024-01-29 14:17:51
884
原创 FileNotFoundError supervisor/xmlrpc
【代码】FileNotFoundError supervisor/xmlrpc。
2024-01-23 14:24:38
345
原创 huggingface 连不上 from_pretrained from_single_file
huggingface的缓存目录 ~/.cach。
2024-01-12 17:12:00
636
原创 PYTORCH 依赖 cuda 11.8 , cuda 12.1 cpu 里 torch torchvision torchaudio对应关系
1、强大的GPU加速的张量计算(NumPy)。2、自动求导系统的深度神经网络。
2024-01-11 17:25:37
1443
原创 node `GLIBC_2.28‘ not found (required by node)
是linux底层的API库。通常情况下,有些环境需要glibc更高的版本才支持,比如GLIBC_2.28。glibc库对linux系统非常重要,轻易不要更换。如果需要更换,需提前备份好原本的相关库以防万一。
2024-01-11 14:53:06
1146
原创 AI 训练框架:Pytorch TensorFLow MXNet Caffe ONNX PaddlePaddle
https://medium.com/jit-team/bridge-tools-for-machine-learning-frameworks-3eb68d6c6558
2023-12-08 15:49:13
684
symbian 论坛大大hoolee的QA CHM版
2010-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人