前言
公司需要开发的新产品涉及到AI相关,需要搭建AI深度学习开发环境,笔者使用本地VS Code+远程jupyter服务器方便调试代码。
Win10使用VM安装Linux系统
为了方便调试github上面的源码,我选择搭建Linux系统的开发环境,笔者虚拟机安装使用的是CentOS7.9系统,不想安装虚拟机也可以在win10系统上直接搭建
win10 x64
VMware 16
清华镜像站下载CentOS7.9 DVD 镜像,千兆网速1分钟就下载好了。
使用VM16安装下载来的iso文件,简易安装系统后发现复制粘贴文件有点问题,重装了VM Tool也没有解决,为了节约时间笔者就没继续研究,打开服务器SSH,使用【 FinalShell】或【xshell,xftp】软件解决文件复制问题。
1.修改pip镜像源方便后续安装
pip下载国外镜像速度太慢,通过修改为国内镜像源来提高速度
全局设置其他镜像源,只要执行一条就行
#pip单次修改镜像源用-i 参数来指定安装包的来源,下面这行是用清华源安装numpy
pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
#全局设置清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
#中科大镜像源
pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple
#阿里云镜像源
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
#恢复默认源(需要的包版本找不到时使用)
pip config set global.index-url https://pypi.python.org/simple
2.安装Anaconda
笔者是跟着这篇文章安装,后续再修改详细的版本
如何在Linux服务器上安装Anaconda(超详细)
安装后修改默认路径,防止C盘爆满
anaconda虚拟环境默认路径的更改_anaconda修改默认保存路径_lhx滴xjq的博客-CSDN博客
修改默认环境和默认路径方便使用_anaconda prompt怎么切换环境_菜鸡不叫的博客-CSDN博客
conda anaconda切换清华源_anaconda更换清华源_watermelonoops的博客-CSDN博客
创建环境
conda create -n pytorch python=3.7.16 (pytorch 是我自己取的名字)
激活指定环境
conda activate [环境名,默认为空着是base]
查看当前已有环境
conda info --envs
1.查看已安装的内容
conda info -e
2.激活环境
conda activate pytorch
3.查看conda版本
conda --version
4.更新
conda update jupyter_client jupyter_core
5.删除环境
离开激活的环境
conda deactivate
6.列出所有的环境
conda env list
7.找到需要删除的环境后,删除xxx(为需要删除的名称)
conda env remove -n xxx
8.更新虚拟环境中的python到指定版本
conda install -c anaconda python=3.8
3.安装jupyter notebook
执行
pip install jupyter notebook
若返回以下信息说明安装完成
Inatalling collected packages: jupyter
Successfully installed jupyter-1.0.0
更换默认执行环境
- jupyter notebook访问的时候
- 默认使用了anaconda的base环境
- 下面命令切换到名为pytorch的虚拟环境,替换里面两个pytorch即可切换其他环境
python -m ipykernel install --user --name pytorch --display-name "pytorch"
安装插件(可选)
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
4.jupyter服务器配置远程访问
第1步
首先我们要生成一个JupyterNotebook的配置文件:执行conda activate激活环境后打开Anaconda Prompt,输入
jupyter notebook --generate-config
记住这个地址,我们一会儿需要按照这个地址找到配置文件(就是这个jupyter_notebook_config.py)
第2步
同样还是在Anaconda Prompt,我们输入
jupyter notebook password
然后就会返回一个Enter password(输入密码)和Verify password(确认密码)给你填,就和我们平时注册账号是一个样的。我们填入密码后,会出现下面的信息:Wrote hashed password to /Users/Admin/.jupyter/jupyter_notebook_config.json。复制出里面的密钥像这样
argon2: a r g o n 2 i d argon2id argon2idv=19$m=10240,t=10,p=8$2GNJzkO1dY4ZgK9xaxAGYw$2+X5CTkzAEFlw+JS1I8j5rMopIjOhiKoZLtER2FernQ
第3步
打开第1步生成的配置文件jupyter_notebook_config.py(打开方式还是选择记事本/txt),在文件最后加上这几行:
c.NotebookApp.ip = '0.0.0.0' #填入0.0.0.0或*表示所有网络可以访问
c.NotebookApp.port = 8888 #可以修改为自己需要的端口
#下面这边是手动配置token,通过 http://127.0.0.1:8888/?token=aef9a514fa484b83aa4554371024ebc5b50bbed25c2521ab 能直接访问,vs code使用远程内核必须输入这个链接
c.NotebookApp.token = 'aef9a514fa484b83aa4554371024ebc5b50bbed25c2521ab'
c.NotebookApp.notebook_dir = '/var/anaconda/notebook'
c.NotebookApp.allow_root = True
c.NotebookApp.use_redirect_file = False
c.NotebookApp.open_browser = False
#c.NotebookApp.allow_origin_pat = 'https://.*vscode-cdn\.net' #vs code无法访问时添加
注意,下面的命令不要一条执行,否则看不到输出信息
#刷新服务
systemctl daemon-reload
#启动
systemctl start jupyter_notebook
#查看状态
systemctl status jupyter_notebook
局域网或外网访问jupytor服务器需要开启端口
1、检查防火墙是否开启(需要开启防火墙)
查看防火墙状态命令:
systemctl status firewalld
启动防火墙命令:
systemctl start firewalld
关闭防火墙命令:
systemctl stop firewalld
2、开放指定端口
开放端口命令:
firewall-cmd --zone=public --add-port=5011/tcp --permanent
命令含义:–zone #作用域
–add-port=1935/tcp #添加端口,格式为:端口/通讯协议
–permanent #永久生效,没有此参数重启后失效
3、重启防火墙
重启防火墙命令:firewall-cmd --reload
4、查询端口是否开启
查询端口命令:firewall-cmd --query-port=5011/tcp
返回yes 表示已开启 no表示未开启
VS Code 远程使用jupyter服务,需要带上token口令,格式:
http://192.168.1.146:8888/?token=aef9a514fa484b83aa4554371024ebc5b50bbed25c2521ab
pip执行任何命令都报错是工具出现了问题,直接重新安装pip工具就好了
3.7(不包含3.7)以下版本
wget https://bootstrap.pypa.io/pip/3.6/get-pip.py
sudo python get-pip.py
3.7以上版本
wget https://bootstrap.pypa.io/get-pip.py
sudo python get-pip.py # 运行安装脚本
windows下 【python】ffmpeg包的安装配置
pip install ffmpeg后不能直接使用,必须安装下载ffmpeg应用软件,并将其路径加入到电脑的环境变量中。参考。
5.检查环境是否配置正确
虚拟环境下执行
python #进入python解释器
import torch
torch.cuda.is_available()
如果返回false说明没有配置对,执行命令时不会调用GPU,需要安装cuda和对应的torch版本:
conda list 查看当前环境的包
删除现有的torch
pip uninstall torch torchvision
torch.cuda.is_available()返回false——解决办法
安装 真·GPU版 Pytorch
pytorch安装GPU版本 (Cuda12.1)
解决pytorch检测不到cuda的问题/pytorch找不到GPU_深度学习_薛猫颚的腚-DevPress官方社区
报错找不到’_cffi_backend’模块ModuleNotFoundError: No module named ‘_cffi_backend’
pip -vvv install --upgrade --force-reinstall cffi
AutoDL使用
source /etc/network_turbo
可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好,希望能够真正帮助到大家。
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓