大模型基础配置之Win11安装HuggingFace Transformers库

已于 2024-08-01 09:33:25 修改
阅读量2.2k 收藏 29
点赞数 20
分类专栏： 大模型加速与压缩 文章标签： nlp transformer python 人工智能
于 2024-07-18 18:54:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40102732/article/details/140530367
版权

介绍

  • Transformer是大语言模型(Large Language Model, LLM)的基础架构
  • Transformers库是HuggingFace开源的
  • 可以完成各种语言、音频、视频、多模态任务
    • 情感分析
    • 文本生成
    • 命名实体识别
    • 阅读理解：给的那个上下文，从上下文提取答案
    • 掩码填充：完形填空
    • 文本摘要
    • 机器翻译
    • 文本表征
    • 对话机器人

相关库的介绍及其地址

安装

建议在anaconda新建环境安装

  • 新建环境，这里选择python=3.9(与wsl安装的python版本一致)

    conda create -n python=3.9

  • 激活环境，配置清华源

    conda activate llm  # 激活

    • pip换源

      pip install pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

    • conda换源

      conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes

  • 安装pytorch-->根据自己的cuda版本，选择小于等于cuda版本对应的pytorch（这里cuda选择11.6进行安装）

                        

        

    

  • pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

  • 安装transformers相关库

    • transformers、datasets、evaluate、peft、accelerate、gradio、optimum、sentencepiece
    • pip install transformers datasets evaluate peft accelerate gradio optimum sentencepiece
    • 没有出现的红色的警告信息即安装成功，通过安装实验证明transformers库的确需要torch 1.13.0版本以上的，建议1.13.1版本

  • 安装其他库

    • jupyterlab、scikit-learn、pandas、matplotlib、tensorboard、nltk、rouge、seaborn、tqdm、gtts、pygame
    • pip install jupyterlab scikit-learn pandas matplotlib tensorboard nltk rouge seaborn tqdm gtts pygame

  • 将环境添加到Jupyter列表

    • 安装ipykernel

      pip install ipykernel

      python -m ipykernel install --user --name llm --display-name llm

  • demo验证

    from transformers import *

    • demo.py

      # 导入gradio
import gradio as gr
# 导入transformers相关包
from transformers import pipeline
# 通过Interface加载pipeline并启动阅读理解服务
# 如果无法通过这种方式加载，可以采用离线加载的方式
gr.Interface.from_pipeline(pipeline("question-answering", model="uer/roberta-base-chinese-extractive-qa", device=0)).launch()

        

  • hosts修改-->解决访问github出问题

    • 用everything搜索hosts

    • C:\Windows\System32\drivers\etc下的hosts用vscode打开

    • 末尾添加以下内容并系统管理员保存

      185.199.108.133 raw.githubusercontent.com
185.199.109.133 raw.githubusercontent.com
185.199.110.133 raw.githubusercontent.com
185.199.111.133 raw.githubusercontent.com
2606:50c0:8000::154 raw.githubusercontent.com
2606:50c0:8001::154 raw.githubusercontent.com
2606:50c0:8002::154 raw.githubusercontent.com
2606:50c0:8003::154 raw.githubusercontent.com

缓存路径修改

由于transformers的模型会下载到C盘用户下的.cache\huggingface\hub下，考虑到一般模型文件比较大占用系统内存，因此需要更改缓存路径到其他盘中

  • 缓存路径

    • linux: ~/.cache/huggingface/hub

    • Windows：C:/Users/<用户名>/.cache/huggingface/hub

      • 缓存的模型文件以哈希值形式储存
      <CACHE_DIR> # 缓存路径
├─ <MODELS>    # 模型路径
├─ <DATASETS>  # 数据集路径
├─ <SPACES>    # 空间路径

<CACHE_DIR>通常由 HF_HOME 或 HF_HUB_CACHE指定

1. 更改模型下载的缓存路径

  • 修改cache_dir参数

  • 比如将模型下载到E:\huggingface\cache

    from transformers import AutoModelForMaskedLM
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="E:/huggingface/cache")

        

  1. 设置环境变量
    • HUGGINGFACE_HUB_CACHE
    • TRANSFORMERS_CACHE
    • HF_HOME
    • XDG_CACHE_HOME + /huggingface
    • 优先查找TRANSFORMERS_CACHE
    • windows更改
      • 新建系统环境变量TRANSFORMERS_CACHE，输入更改后的缓存目录路径

建议直接更改缓存目录参数就好

【transformer（03/10) 】Hugging Face 安装环境
gongdiwudu的专栏
02-03 4081
关于transformer库的安装环境的说明；因为transformer是一个不小的大型软件，安装的时候对环境还是需要一定规划，一般安装在虚拟环境中，以便与常规软件进行隔离。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 2171
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
Windows安装Hugging Face Transformers库并实现案例训练的详细教程
搏博的专栏
02-17 1438
访问Python官网（https://www.python.org/downloads/windows/），下载适用于Windows的Python 3.10+安装包（推荐最新版Python 3.13.2）。这是一个包含Yelp评论和评分的数据集，通常用于文本分类任务。访问PyTorch官网（https://pytorch.org/），选择适合的配置（若有独立支持GPU，推荐CUDA版本）（在页面的中间位置）。加载训练好的模型，可以应用于各种NLP任务，如：文本分类、问答系统、文本生成、序列标注等。
KTransformers部署 使671B DeepSeek R1成「办公桌标配」
技术宅男改变世界
03-03 1898
KTransformers作为一个开源框架，专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算，并针对MoE架构的稀疏性进行了特别优化，可以有效降低硬件要求，允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型。KTransformers实现了强大的CPU+DDR5+24GB显存环境下本地运行DeepSeek-R1满血版的能力，大大降低了部署成本和技术门槛。
huggingface NLP -Transformers库
weixin_40455124的博客
12-14 1215
1.1 易于使用：下载、加载和使用最先进的NLP模型进行推理只需两行代码即可完成。1.2 灵活：所有型号的核心都是简单的PyTorch nn.Module 或者 TensorFlow tf.kears.Model，可以像它们各自的机器学习（ML）框架中的任何其他模型一样进行处理。1.3 简单：当前位置整个库几乎没有任何摘要。“都在一个文件中”是一个核心概念：模型的正向传递完全定义在一个文件中，因此代码本身是可以理解的，并且是可以破解的。
windows huggingface-cli安装时要注意的问题（‘huggingface-cli.exe‘ 不是内部或外部命令，也不是可运行的程序）
gaotong3701的博客
02-21 3951
在安装huggingface_hub的时候要注意如果你的python是放在c盘下时记得用管理员模式命令行来安装huggingface_hub，否则安装过程会报错，之后也不会有huggingface-cli命令。如果安装时因为没有用管理员权限安装而报错了，可以先卸载huggingface-hub。然后管理员模式下安装huggingface-hub。
nlp（hugging face/ transformers）安装
m0_47014884的博客
05-07 643
—安装transformer。#安装transformers。#conda安装(不推荐)#conda安装(不推荐)——安装pytorch。——安装dataset。#安装datasets。
windows使用源代码安装transformers
ningmengzhihe的博客
09-14 4205
windows使用源代码安装transformers
Transformers源码解析/Hugging Face实战/NLP实战//预训练模型/分词器
07-12
我们需要做的就是在别人的模型和词库基础上，对模型进行微调来解决自己的任务。别觉得调现成的很low，这是最方便的做法。（你自己做，先不说你有没有这种级别的计算资源，你存都没地方存，真做起来电费你都交不起）...
python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
weixin_54626591的博客
12-27 2769
ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
克服资源障碍：大模型量化技术与高效部署策略全解析
2401_82700030的博客
06-27 1986
本文综述了大模型量化的方法、适用场景以及最新的研究进展，为读者解决部署使用大模型时遇到的计算资源不足的情景提供了一种视角
PyPI 官网下载 | transformers-4.7.0-py3-none-any.whl
01-26
资源来自pypi官网。 资源全名：transformers-4.7.0-py3-none-any.whl
Windows11 安装pytorch gpu版本（包括cuda、transformers的安装）
Andy的博客
07-16 1289
cuda、pytorch、tansformers安装
Hugging face win使用教程（二）
liangjiubujiu的博客
05-28 812
{'generated_text': '电子科技大学是我国一所专职的综合性大学，是教育部直属的全国重点大学，也是国家“211工程”重点建设高校，是'}]4. 编写测试代码，注意可能由于网络链接问题，需要关闭代理并使用镜像网站解决。6. 设置hf环境下的python.exe为编译器并运行结果。1. 将环境迁移到win，可以直接下载修改好的cuda环境。2. 修改hugging face的缓存路径。3. 重启pycharm。
install huggingface transformers
Mia_yy的博客
12-20 1543
Step 1: 首先下载源文件并安装 git clone https://github.com/huggingface/transformers.git cd transformers pip install -e . Step 2: 测试 安装pytest， pip install pytest 安装examples需要的库，pip install -r ./examples/requireme...
Transformers之环境安装
热门推荐
qq_35215756的博客
03-18 2万+
自定义安装，主要是为了在docker中使用conda虚拟环境。
Huggingface中Transformer模型使用
苏云南雁的博客
03-11 4922
2、如何培养模型的学习能力？自然语言处理就像我们读书一样，要训练它的阅读能力、学习能力、理解能力，给出的是一系列阅读材料，然后想办法让它理解语言，不仅仅是一个分类的专项技能，这里就涉及到注意力机制了。1、自然语言处理究竟要做一件什么事呢？自然语言处理最终解决的是分类问题，但是它不仅仅输出一个分类的预测结果，关键的在于构建一个聪明的模型，不光能学习不同数据集的问题，还能处理不同类别的问题。
AGI 之 【Hugging Face】 的[ 简单介绍 ] [ 基础环境搭建 ] 的简单整理
仙魁XAN
06-21 1813
目录AGI 之 【Hugging Face】 的[ 简单介绍 ] [ 基础环境搭建 ] 的简单整理一、简单介绍二、Hugging Face三、环境搭建python 环境的搭建Pycharm 环境搭建1、下载 Pycharm 安装包2、安装 Pycharm3、打开 Pycharm4、Pycharm 的简单使用Hugging face 基础环境搭建附录一、模型中的一些文件说明二、本案例的环境中一些关键库的版本。
HuggingFace入门教程--环境搭建
alfiy的专栏
04-23 8371
HuggingFace中文直译为”拥抱脸“，是最近非常火爆的一个人工智能社区，官网地址是：https://huggingface.co/ .关于HuggingFace的相关介绍大家可以自行百度。本文主要为刚入人工智能坑的小白指下路，同时也是逼着自己记录下学习过程中的点滴，和热爱学习的小伙伴们分享。我的环境。
怎么用deepseek在win11个人电脑上部署私有知识库
最新发布
03-09
<think>好的，我现在需要帮用户解决在Windows 11上使用DeepSeek部署私有知识库的问题。首先，我得确认用户提到的“DeepSeek”具体指什么。可能是指深度求索公司的某个产品，或者是类似DeepSeek-R1之类的开源模型？不过用户可能是指如何用类似DeepSeek的模型搭建私有知识库，比如结合LangChain或其他工具。 接下来，我需要考虑用户的需求。私有知识库通常需要几个步骤：模型选择、本地部署、文档处理、接口搭建等。用户可能对技术细节不太熟悉，所以步骤要清晰，避免太专业的术语，但又要保证正确性。 首先，模型准备。如果用户想用DeepSeek的模型，可能需要去官网下载或申请API权限。不过如果是开源模型，比如DeepSeek-R1，可能需要从Hugging Face获取。这里可能需要说明如何获取模型文件，比如使用git-lfs下载。 然后，环境配置。用户需要在Windows 11上安装Python、PyTorch等依赖。这里要注意说明使用conda或venv创建虚拟环境，安装对应版本的PyTorch，可能还需要CUDA支持，如果用户有GPU的话。 接下来是文档处理。需要将用户的文档（如PDF、Word等）转换为文本，并进行分块和向量化。这里可能需要用到LangChain的文档加载器，比如PyPDF2或Unstructured，然后使用文本分割器，比如RecursiveCharacterTextSplitter。向量化部分可能需要Hugging Face的sentence-transformers模型，或者OpenAI的API，但因为是私有部署，可能更倾向于本地模型。 然后，向量数据库的选择。FAISS是常用的本地向量数据库，适合Windows环境。需要指导用户安装faiss-cpu库，并存储和检索向量。 模型集成部分，需要将问题与检索到的文档结合，生成回答。这里可以用Hugging Face的pipeline加载本地模型，或者使用Transformers库。需要处理输入文本，限制生成长度等参数。 接口搭建部分，用户可能需要一个简单的GUI或Web界面。Gradio是一个不错的选择，可以快速搭建界面，方便用户输入问题和获取回答。 此外，还需要考虑可能的错误和问题，比如模型与库的版本兼容性、CUDA是否配置正确、文档解析出错等。建议用户在遇到问题时检查日志，安装必要的依赖，比如Microsoft Visual C++ Build Tools。 最后，给出一个示例代码框架，帮助用户理解整个流程。确保代码中的路径和模型名称需要用户根据实际情况修改，并提醒注意事项，比如硬件要求、模型版权和数据处理隐私问题。 总结下来，步骤应该是：准备模型 → 配置环境 → 处理文档 → 向量数据库 → 集成模型 → 搭建接口 → 测试优化。每个步骤需要详细说明，但保持简洁，避免让用户感到复杂。同时，提醒用户可能的陷阱，比如模型大小需要足够内存，或GPU加速的配置方法。</think>以下是在Windows 11个人电脑上部署私有知识库的分步指南，使用DeepSeek相关技术栈实现： --- ### **Step 1 - 环境准备** 1. **安装基础工具** - 下载Python 3.8+：<https://www.python.org/> - 安装CUDA Toolkit（如使用NVIDIA GPU）：<https://developer.nvidia.com/cuda-toolkit> - 创建虚拟环境： ```bash conda create -n deepseek-env python=3.10 conda activate deepseek-env ``` 2. **安装核心库** ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # GPU版 pip install transformers langchain faiss-cpu gradio sentence-transformers ``` --- ### **Step 2 - 模型获取** 1. **获取DeepSeek模型** - 访问官方平台（如ModelScope或Hugging Face）下载模型： ```bash git lfs install git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat ``` --- ### **Step 3 - 文档处理** 1. **文档预处理脚本** ```python from langchain.document_loaders import DirectoryLoader from langchain.text_splitter import RecursiveCharacterTextSplitter loader = DirectoryLoader('./docs/', glob="**/*.pdf") documents = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50 ) splits = text_splitter.split_documents(documents) ``` --- ### **Step 4 - 向量化存储** 1. **构建向量数据库** ```python from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-base-zh") vectorstore = FAISS.from_documents(splits, embeddings) vectorstore.save_local("faiss_index") ``` --- ### **Step 5 - 模型集成** 1. **加载本地模型** ```python from transformers import AutoTokenizer, AutoModelForCausalLM model_path = "./deepseek-llm-7b-chat" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path) ``` 2. **构建问答链** ```python from langchain.chains import RetrievalQA qa = RetrievalQA.from_chain_type( llm=model, retriever=vectorstore.as_retriever(), chain_type="stuff" ) ``` --- ### **Step 6 - 界面部署** 1. **创建Gradio交互界面** ```python import gradio as gr def answer_question(question): docs = vectorstore.similarity_search(question, k=3) inputs = tokenizer(question, return_tensors="pt") outputs = model.generate(**inputs, max_length=500) return tokenizer.decode(outputs[0]) iface = gr.Interface( fn=answer_question, inputs="textbox", outputs="text", title="DeepSeek知识库" ) iface.launch(server_port=7860) ``` --- ### **关键参数配置** | 组件 | 推荐配置 | 作用 | |-------|---------|-----| | Chunk Size | 500 tokens | 平衡上下文完整性 | | Top-K Retrieval | 3-5 | 控制参考文档数量 | | Temperature | 0.3 | 控制生成随机性 | | Max Length | 1024 | 限制响应长度 | --- ### **常见问题解决** 1. **CUDA内存不足** - 添加`device_map="auto"`加载模型： ```python model = AutoModelForCausalLM.from_pretrained(..., device_map="auto") ``` 2. **文档解析错误** - 安装补充解析器： ```bash pip install unstructured[local-inference] ``` --- ### **效果优化建议** 1. 使用P-Tuning微调模型（需至少16GB显存） 2. 添加Rerank层优化检索结果 3. 设置访问密码保护隐私数据 部署完成后，通过浏览器访问`http://localhost:7860`即可使用私有知识库系统。实际部署时需根据硬件配置调整量化方案（如使用4-bit量化）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值