linzhiji-CSDN博客

原创 ubuntu 18 cuda 11.8 安装 vllm

需要安装官方nccl。

2024-07-16 23:15:03 338

原创 whisper get_writer srt_writer 参数说明

【代码】whisper get_writer srt_writer 参数说明。

2024-06-25 14:41:17 324

原创 pip install 安装 torch cuda 11.8 cu118

百度了一下，有推荐这么改的，速度还是慢，因为还是转到官网 pytorch.org。最终采用其中的版本 2.3.1，可以看看 pip 源。默认安装，速度比较慢。

2024-06-18 19:16:09 551

原创 gradio image 类型

【代码】gradio image 类型。

2024-05-29 15:29:45 269

原创 LangChain llamaindex

参考：全流程 | Windows 系统本地部署开源模型阿里通义千问 QWEN 1.5，结合 LangChain-Chatchat 框架和向量数据库 FAISS、Milvus - 知乎

2024-05-24 17:41:19 205

原创大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度

AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。

2024-05-15 16:15:46 1717

原创 GPU 显存释放

【代码】GPU 显存释放。

2024-05-15 16:00:41 91

原创 sd sdxl diffusers GPU 显存优化

【代码】sd sdxl diffusers GPU 显存优化。

2024-04-15 11:20:55 500

原创 python argparse 简单实用

【代码】python argparse 简单实用。

2024-04-08 15:25:59 122

原创 from_pretrained 做了啥

transformers的三个核心抽象类是Config, Tokenizer和Model，这些类根据模型种类的不同，派生出一系列的子类。构造这些派生类的对象也很简单，transformers为这三个类都提供了自动类型，即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法，这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。

2024-03-22 15:56:16 1575

原创 ubuntu apt source 源

【代码】ubuntu apt source 源。

2024-03-19 11:40:53 394

原创 float32 float16 bfloat16 推理训练GPU速度和内存调研

概念：3种数量类型表示的数据范围不一样，以float32为例其中有1个符号位，8位表示指数，23位表示尾数标准训练推理是用的float32，但是占用GPU显存太大，所以优化的方向就是一般就是，时间换空间或者是减少float32位精度。

2024-03-11 16:49:04 753

原创 llm llama GPU 内存/显存计算

Calculating GPU memory for serving LLMs | Substratus.AI

2024-03-04 11:10:01 496

原创国产大模型翻译方面应用

智谱华章GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型参考：https://github.com/wgwang/awesome-LLMs-In-China?tab=readme-ov-file

2024-02-29 13:53:28 374

原创翻译平台&翻译模型&大模型英翻中 en-zh 评测

评测语句。

2024-02-29 13:08:43 658

原创 MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu

【代码】MBartForConditionalGeneration mbart-large-50-many-to-many-mmt 使用cuda gpu。

2024-02-28 17:55:22 487 1

原创实时文字to图：SDXL Turbo 和 LCM-LoRA

根据目前的实际使用情况。

2024-02-19 21:55:11 374

原创 ubuntu 安装 ffmpeg 6.0

【代码】ubuntu 安装 ffmpeg 6.0。

2024-02-04 16:16:38 835

原创 sd_xl_turbo from_single_file 本地加载

【代码】sd_xl_turbo from_single_file 本地加载。

2024-02-02 16:01:19 544

原创 ubuntu 安装python3.10

方法一：How to Install Python 3.10 on Ubuntu 22.04 or 20.04 - LinuxCapable方法二：Ubuntu python3.10 安装教程，并更新python，pip默认指向为python3.10, pip3（超详细教程）_apt-get install python-CSDN博客

2024-01-29 14:17:51 887