大模型专栏介绍
😊你好,我是小航,一个正在变秃、变强的文艺倾年。
🔔本文为大模型专栏子篇,大模型专栏将持续更新,主要讲解大模型从入门到实战打怪升级。如有兴趣,欢迎您的阅读。
💡适合人群:本科生、研究生、大模型爱好者,期待与你一同探索、学习、进步,一起卷起来叭!
🔗篇章一:本篇主要讲解Python基础、数据分析三件套、机器学习、深度学习、CUDA等基础知识、学习使用AutoDL炼丹
🔗篇章二:本篇主要讲解基本的科研知识、认识数据和显卡、语言模型如RNN、LSTM、Attention、Transformer、Bert、T5、GPT、BLOOM、LLama、Baichuan、ChatGLM等系列、强化学习教程、大模型基础知识及微调等
🔗篇章三:本篇主要讲解智能对话、大模型基础实战如Ollama、Agent、QLoar、Deepspeed、RAG、Mobile Agent等、大模型领域前沿论文总结及创新点汇总
一、Anaconda 安装
1.1、使用国内源下载更快:anaconda 清华源
1.2、安装路径,这里不建议装在C盘,安装完大概3个G左右
1.3、Conda常用命令
#查看当前环境的信息
conda info
#查看已经创建的所有虚拟环境
conda info -e
#切换到xx虚拟环境
conda activate xx
#退出当前虚拟环境
conda deactivate
#切换环境
set CONDA_FORCE_32BIT=1 # 切换到32位
set CONDA_FORCE_32BIT=0 # 切换到64位
#创建一个python3.8 名为pytorch 的虚拟环境
conda create -n pytorch python=3.8
#移除环境
conda remove -n env_name --all
#切换root环境
activate root
#删除环境钟的某个包
conda remove --name $your_env_name $package_name
#查找某包是否已经安装
conda list xxx #包的名称
#查询已安装包
pip list
##########################################################
#重命名虚拟环境
conda activate [原虚拟环境的名称]
conda create --name [新虚拟环境的名称] --clone [原虚拟环境的名称]
conda remove --name [原虚拟环境的名称] --all
#备份虚拟环境
conda env export --name [虚拟环境的名称] > environment.yaml
#恢复虚拟环境
conda env create --name [新环境的名称] --file environment.yaml
#########################################################
#查看所有源
conda config --show-sources
#设置搜索时显示通道地址
conda config --set show_channel_urls yes
#设置镜像源
#添加清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/condaforge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
# 添加阿里云镜像源
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
#添加中科大源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
#删除制定源
conda config --remove channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'
#删除全部源
conda config --remove-key channels
1.4、Conda 配置虚拟环境为D盘
编辑:C:\Users\用户.condarc
修改或新增envs_dirs、pkgs_dirs的配置:
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
envs_dirs: [F:\conda_config\envs]
pkgs_dirs: [F:\conda_config\pkgs]
新建文件夹:
执行命令:
conda info
测试:
如果出现No Writable PkgsDir Error
错误,检查文件夹是否可读:
二、Torch安装
2.1、查询自己的电脑支持安装CUDA的最高版本
nvidia-smi
2.2、 NVIDIA显卡驱动升级
建议通过NVIDIA GeForce Experience自动更新,下载GeForce Experience并安装,检查驱动更新在GeForce Experience主界面,点击左侧的“驱动程序”标签,软件将自动检测当前显卡驱动的版本,并检查是否有可用的更新。
2.3、安装CUDA
建议安装到C盘
验证是否安装成功:
nvcc -V
2.4、cudnn安装
将下载好的Zip文件解压,文件夹中的/bin、/include、/lib
复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8
文件夹下
进入C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\demo_suite
文件夹,打开cmd窗口,分别执行bandwidthTest.exe
、deviceQuery.exe
2.5、 安装Pytorch
# 创建环境并激活
conda create -n pytorch python=3.8
conda activate pytorch
🔗官网版本安装命令:链接
示例:
# CUDA 11.7
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
# CUDA 11.8
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
# CPU Only
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 cpuonly -c pytorch
pip安装:
# ROCM 5.4.2 (Linux only)
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/rocm5.4.2
# CUDA 11.7
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
# CUDA 11.8
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
# CPU only
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cpu
注意CUDA、Pytorch和显卡驱动三者版本之间的对应关系:
- 显卡驱动是操作系统和显卡硬件之间的软件接口,复杂管理显卡的的功能和性能,
一台主机上只能安装一个版本的显卡驱动
。 - CUDA是NVIDIA 开发的基于C/C++的并行计算工具包,可以使开发人员在 GPU 上编写高性能的并行程序。
每个版本的显卡驱动有其支持的最高CUDA版本
,并可以向后兼容旧版本的CUDA
。 一台主机上可以同时安装多个版本的CUDA,使用时只需要在~/.bashrc文件中将对应版本cuda的安装路径加入环境变量即可。
- Pytorch是在CUDA上开发的一个开源的机器学习框架,用于构建深度学习模型。每个版本的CUDA都可能支持多个版本的Pytorch。
一般情况下,pytorch版本与开源代码要求的略有不同不会影响使用
,但pytorch基于的cuda版本一定要与本机环境变量中设置的cuda版本相同。用户可以通过Anaconda来创建多个python环境,进而使用不同版本的pytorch。
Pytroch(GPU版本)安装检查:
方法一:
pip list
方法二:
python
>>> import torch
# 查看torch版本
>>> torch.__version__
# 查看cuda是否可用
>>> torch.cuda.is_available()
>>> True
如果为Fasle,请检查下载版本(可能下载的是CPU版本)是否正确
三、Jupter Notebook安装
3.1、配置Jupyter的工作目录
打开Anaconda Prompt,执行下面命令
# 查看配置文件目录
jupyter notebook --generate-config
# Writing default config to: C:\Users\artboy\.jupyter\jupyter_notebook_config.py
创建自己的notebook工作目录:F:/Python_Project/notebook_dir
打开配置文件jupyter_notebook_config.py
,搜索关键字notebook_dir
,移除注释并修改:
修改Jupyter Notebook程序默认路径:
在开始菜单中找到Jupyter Notebook,右键选择,打开文件所处位置。
右键点开Jupyter Notebook,选择属性,将%USERPROFILE%/
替换成刚刚在上面你选择的路径。
启动Jupyter Notebook测试:
3.2、设置内核
打开Anaconda Prompt,执行下面命令
# 查看目前可用的内核
jupyter kernelspec list
# Available kernels:
#python3 D:\Anaconda3\share\jupyter\kernels\python3
把创建的环境添加到jupyter的内核
conda activate pytorch
# 安装ipykernel
conda install ipykernel
# 将环境写入Notebook的kernel中
python -m ipykernel install --user --name=pytorch
解决jupyter notebook在anaconda prompt命令行无法启动的问题
我的电脑->属性->高级系统设置->环境变量->用户变量->Path->新建变量D:\Anaconda3\Scripts
四、Pycharm配置
4.1、配置解释器
右下角新增新的解释器-本地:
选择加载conda.exe:
4.2、Pycharm 使用 Jupter Notebook
📌 [ 笔者 ] 文艺倾年
📃 [ 更新 ] 2024.9.10
❌ [ 勘误 ] /* 暂无 */
📜 [ 声明 ] 由于作者水平有限,本文有错误和不准确之处在所难免,
本人也很想知道这些错误,恳望读者批评指正!