部署本地AI大模型相关环境配置

于 2024-07-31 10:04:13 发布
阅读量395 收藏 7
点赞数 13
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apple_74262176/article/details/140814926
版权

文章目录

参考文章

配置Tensorflow使用CUDA进行GPU加速(超详细教程)_tensorflow cuda-CSDN博客
Pytorch的安装与配置并通过GPU进行加速(超详细教程)_安装pytorch gpu-CSDN博客

1. 安装Anaconda

Anaconda官网下载

Download Anaconda Distribution | Anaconda

image.png


清华源镜像站下载( 国内速度会快很多 )

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

image.png

  • 注意看软件的适配操作系统, 别下成别的去了
  • 安装默认会自动设置环境变量的, 如果没设置就手动设置
  • 至于不知道有没有自动设置环境变量, 查看一下**conda**版本就知道了
conda --version

image.png


设置Anaconda环境变量
  • 显示版本信息即为自动设置环境变量, 如果没有就手动设置
  • 在系统变量的**Path**中添加如下的环境变量, 路径改成自己的
D:\Program Files\Anaconda3
D:\Program Files\Anaconda3\Library
D:\Program Files\Anaconda3\Scripts

2. 安装CUDA和cuDNN

安装CUDA前先在cmd命令行输入nvidia-smi查看当前的的CUDA 版本
这个版本大于等于你要安装的CUDA 版本就不会出问题，否则可能需要升级驱动或下载更低版本的CUDA Toolkit

检查CUDA版本
nvidia-smi

image.png


下载安装CUDA Toolkit

CUDA Toolkit Archive

image.png

  • 下载的版本要小于或等于自己的CUDA版本

image.png

  • 选择自己操作系统相关参数的配置来下载
安装过程的选择

image.png
image.png
image.png

  • 记住这个安装路径, 后面要配置环境变量, 路径可修改

下载cuDNN
  • CUDA的环境变量等安装完cuDNN再配置
  • 选择前面安装的CUDA对应版本的cuDNN来下载

cuDNN Archive

image.png


  • cuDNN需要登录账户才能下载，没有账号的话自己注册一个即可，下载成功为压缩包
  • 将下载好的cuDNN压缩包解压，并将解压后所有的文件复制粘贴至刚才CUDA的安装目录
  • 注意是CUDA的安装目录，如果有提示文件重复则选择全部覆盖即可

image.png


配置CUDA环境变量

image.png

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\libnvvp
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\include
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\lib
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\extras\CUPTI\lib64
  • 前面一般会默认添加, 只需要添加后面三个即可
  • 如果默认的前两个环境变量没添加就手动添加进去

查看安装的CUDA版本
nvcc -V

image.png


验证CUDA是否成功安装
  • 进入CUDA安装路径下的demo_suite目录，在地址栏输入cmd并回车即可进入该目录下
  • 也可以直接在cmd命令行进入该目录

image.png

  • 进入该目录下后，依次输入以下命令
  • 若结果均为PASS，那么恭喜CUDA已经安装成功了
.\bandwidthTest.exe
.\deviceQuery.exe

image.png
image.png


3. 创建Anaconda虚拟环境

Anaconda虚拟环境常用命令
1. conda create -n qwen2_env python=3.9  # 创建环境
2. conda activate qwen2_env              # 激活环境
3. conda env list 						 # 查看所有环境
4. conda deactivate 					 # 退出当前环境
5. conda remove -n qwen2_env --all 		 # 删除环境

准备条件
  • 查看Pytorch与CUDA版本的对应关系

Previous PyTorch Versions

image.png

  • 上面的版本对应关系有点少, 下面这个是全面的, 但要辨别区分
  • CUDA版本: 12.1 -> cu121 — 以此类推, 别下成CPU版本了

https://download.pytorch.org/whl/torch/
image.png

  • 查看Pytorch与torchvision版本的对应关系

GitHub - pytorch/vision: Datasets, Transforms and Models specific to Computer Vision

image.png

  • 查看Pytorch与torchaudio版本的对应关系

Installing pre-built binaries — Torchaudio 2.4.0.dev20240628 documentation

image.png

  • Python对应的需求版本都会提及，所以不必刻意去找Python应该符合的版本
  • 并不是所有版本的CUDA都有与之对应的torch版本，如11.2版本的CUDA没对应的torch版本的

pip方式安装
  • 一行代码就完事~
  • 但是这种方法下载速度很慢, 而且容易失败
  • 推荐使用下面的whl方式安装
pip --default-timeout=100 install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu111/torch_stable.html

whl方式安装

  1. **下载torch : **
  • 注意下载对应的CUDA版本和GPU版本, 别下成CPU版本啦
  • torch版本选择之前查询的pytorch与cuda版本关系

image.png
image.png

  1. **下载torchvision : **

image.png

  1. **下载torchaudio : **

image.png

  1. **下载好的文件如下 : **

image.png

  • 进入前面创建的虚拟环境
  • 在虚拟环境中进入到刚才那三个.whl文件下载的路径
  • **别忘了先激活虚拟环境 ****conda activate [环境名]**
  1. **安装torch : **
  • 输入pip install torch之后按Tab键会自动补全名称
    在这里插入图片描述

  1. **安装torchvision : **
  • 输入pip install **torchvision**之后按Tab键会自动补全名称

image.png


  1. 安装torchaudio
  • 输入**pip install torchaudio**之后按**Tab**键会自动补全名称

image.png


  1. 查看是否安装成功
conda list

image.png


conda方式安装
  • 这是官方推荐的方式, 也是最方便的
  • 先要创建自己的虚拟环境, 然后换国内镜像源
  • 版本换成自己对应的版本, 然后一条命令就完事了
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
conda config --set show_channel_urls yes

conda install pytorch==1.9.1 torchvision==0.10.1 torchaudio==0.9.1 cudatoolkit=11.1 -c conda-forge
  • 最后出现 done 即安装完成!!!
水蓝烟雨
关注
  • 13
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
部署大模型API的实战教程
herosunly的博客
01-17 6万+
今天给大家带来的文章是部署大模型API的实战教程，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 测试API
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA 本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及...
Linux从零部署本地AI大模型对接本地知识库全记录
2401_85390073的博客
07-01 988
在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
手把手带你本地部署大模型
epitomizelu的专栏
07-09 883
这篇文章的唯一目的是实现在本地运行大模型，我们使用LMStudio这个工具协助达成这个目标。
一键部署本地AI大模型
lvaolan123456的博客
06-17 726
Ollama是一个开源项目，致力于简化大型语言模型（LLM）的本地部署过程。它允许用户在自己的硬件上运行和测试最新的语言模型，无需依赖云服务。Ollama提供了一个类似于OpenAI的API接口，使得开发者可以轻松地在自己的应用程序中集成大型语言模型。此外，Ollama WebUI为用户提供了一个友好的界面，用于管理和与模型进行交互。
本地部署清华大模型 ChatGLM3
热门推荐
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
开源大模型环境配置、私有化部署、lora微调、langchain.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
【大模型部署】小白教学,离线本地部署AI-fastGPT-资源包
03-19
通过这次小白教学，你不仅学会了如何部署AI-fastGPT模型，还掌握了配置文件管理和Docker基础。记住，理解和掌握这些知识点对于进一步的AI项目开发和管理是非常有价值的。在实践中不断探索和优化，你会发现本地部署大...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在当前的IT行业中，大模型部署是人工智能领域的一项关键技术，特别是在深度学习和自然语言处理（NLP）的应用中。OpenVINO（Open Visualization Inference and Neural Network Optimization）是由Intel开发的一个工具...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
2024钉钉杯A题思路详解
全栈川川
07-26 1842
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1690
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
昇思25天学习打卡营第1天|快速入门
07-28 438
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 762
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
重塑生态体系 深挖应用场景 萤石诠释AI时代智慧生活新图景
07-25 1324
从“1+4+N”自然进化到“2+5+N”产品生态体系，萤石十年来不断迭代、不断升级，为家居生活带来更智慧的交互、更丰富的场景，萤石的下一个十年值得期待。来自全国各地的萤石合作伙伴、行业从业者及相关媒体，共聚杭州，共同见证拥抱AI的萤石，将如何全新升级，AI加持下的智慧生活又有何不同。用户只需轻轻抬起手腕，即可实现对家中智能设备的远程操控，如智能门锁可视对讲、安全警报的查看以及智能场景的控制等，极大地提升了生活的便捷性与智能化水平。，确保了数据的安全性，为用户提供更快、更便捷、更安全的家庭存储新选择。
安卓手机部署大模型实战
奇舞周刊
07-25 1067
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
带并行卷积的水下图像背景前景分割方法
最新发布
renhongxia1的博客
07-30 365
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
MOE模式：或将是最好的大模型应用开发路径
AI相关从业分享
07-28 484
MOE（Mixture of Experts，混合专家）是一种机器学习模型架构，旨在通过结合多个专家网络来提高模型的性能和泛化能力。以下是传统模型和大模型中MOE模式的相关介绍及其优势。传统模型中的MOEGate网络：决定输入数据应该被路由到哪一个专家网络。Gate网络可以根据输入数据的特征来动态分配数据。Expert网络：一系列专门的网络，每个网络都是针对特定数据分布进行训练的。Expert网络可以是对特定问题有深入理解的小模型。组合层：将所有Expert网络的输出进行组合，形成最终的预测结果。
线性代数|机器学习-P26随机梯度下降
scar2016的博客
07-25 1239
122121212。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值