安装搭建AI开发环境(保姆级教程)

前言

公司需要开发的新产品涉及到AI相关,需要搭建AI深度学习开发环境,笔者使用本地VS Code+远程jupyter服务器方便调试代码。

Win10使用VM安装Linux系统

为了方便调试github上面的源码,我选择搭建Linux系统的开发环境,笔者虚拟机安装使用的是CentOS7.9系统,不想安装虚拟机也可以在win10系统上直接搭建

win10 x64
VMware 16

清华镜像站下载CentOS7.9 DVD 镜像,千兆网速1分钟就下载好了。
使用VM16安装下载来的iso文件,简易安装系统后发现复制粘贴文件有点问题,重装了VM Tool也没有解决,为了节约时间笔者就没继续研究,打开服务器SSH,使用【 FinalShell】或【xshell,xftp】软件解决文件复制问题。

1.修改pip镜像源方便后续安装

pip下载国外镜像速度太慢,通过修改为国内镜像源来提高速度

全局设置其他镜像源,只要执行一条就行

#pip单次修改镜像源用-i 参数来指定安装包的来源,下面这行是用清华源安装numpy
	pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
#全局设置清华源
	pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
#中科大镜像源
	pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple
#阿里云镜像源
	pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
#恢复默认源(需要的包版本找不到时使用)
	pip config set global.index-url https://pypi.python.org/simple

2.安装Anaconda

笔者是跟着这篇文章安装,后续再修改详细的版本
如何在Linux服务器上安装Anaconda(超详细)
安装后修改默认路径,防止C盘爆满
anaconda虚拟环境默认路径的更改_anaconda修改默认保存路径_lhx滴xjq的博客-CSDN博客
修改默认环境和默认路径方便使用_anaconda prompt怎么切换环境_菜鸡不叫的博客-CSDN博客
conda anaconda切换清华源_anaconda更换清华源_watermelonoops的博客-CSDN博客

创建环境

conda create -n pytorch python=3.7.16 (pytorch 是我自己取的名字)

激活指定环境

conda activate [环境名,默认为空着是base]

查看当前已有环境

conda info --envs

1.查看已安装的内容

conda info -e

2.激活环境

conda activate pytorch

3.查看conda版本

conda --version

4.更新

conda update jupyter_client jupyter_core

5.删除环境
离开激活的环境

conda deactivate

6.列出所有的环境

conda env list

7.找到需要删除的环境后,删除xxx(为需要删除的名称)

conda env remove -n xxx

8.更新虚拟环境中的python到指定版本

conda install -c anaconda python=3.8

3.安装jupyter notebook

执行

pip install jupyter notebook

若返回以下信息说明安装完成

Inatalling collected packages: jupyter
Successfully installed jupyter-1.0.0

更换默认执行环境
  • jupyter notebook访问的时候
  • 默认使用了anaconda的base环境
  • 下面命令切换到名为pytorch的虚拟环境,替换里面两个pytorch即可切换其他环境
python -m ipykernel install --user --name pytorch --display-name "pytorch"

安装插件(可选)
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user

4.jupyter服务器配置远程访问

第1步
​ 首先我们要生成一个JupyterNotebook的配置文件:执行conda activate激活环境后打开Anaconda Prompt,输入

jupyter notebook --generate-config
记住这个地址,我们一会儿需要按照这个地址找到配置文件(就是这个jupyter_notebook_config.py)

第2步
​ 同样还是在Anaconda Prompt,我们输入

​ jupyter notebook password

然后就会返回一个Enter password(输入密码)和Verify password(确认密码)给你填,就和我们平时注册账号是一个样的。我们填入密码后,会出现下面的信息:Wrote hashed password to /Users/Admin/.jupyter/jupyter_notebook_config.json。复制出里面的密钥像这样
argon2: a r g o n 2 i d argon2id argon2idv=19$m=10240,t=10,p=8$2GNJzkO1dY4ZgK9xaxAGYw$2+X5CTkzAEFlw+JS1I8j5rMopIjOhiKoZLtER2FernQ

第3步
​ 打开第1步生成的配置文件jupyter_notebook_config.py(打开方式还是选择记事本/txt),在文件最后加上这几行:

c.NotebookApp.ip = '0.0.0.0' #填入0.0.0.0或*表示所有网络可以访问
c.NotebookApp.port = 8888    #可以修改为自己需要的端口
#下面这边是手动配置token,通过 http://127.0.0.1:8888/?token=aef9a514fa484b83aa4554371024ebc5b50bbed25c2521ab 能直接访问,vs code使用远程内核必须输入这个链接
c.NotebookApp.token = 'aef9a514fa484b83aa4554371024ebc5b50bbed25c2521ab' 
c.NotebookApp.notebook_dir = '/var/anaconda/notebook'
c.NotebookApp.allow_root = True
c.NotebookApp.use_redirect_file = False
c.NotebookApp.open_browser = False
#c.NotebookApp.allow_origin_pat = 'https://.*vscode-cdn\.net' #vs code无法访问时添加

注意,下面的命令不要一条执行,否则看不到输出信息

#刷新服务
systemctl daemon-reload
#启动
systemctl start jupyter_notebook
#查看状态
systemctl status jupyter_notebook 

局域网或外网访问jupytor服务器需要开启端口

1、检查防火墙是否开启(需要开启防火墙)
查看防火墙状态命令:
systemctl status firewalld
启动防火墙命令:
systemctl start firewalld
关闭防火墙命令:
systemctl stop firewalld
2、开放指定端口
开放端口命令:
firewall-cmd --zone=public --add-port=5011/tcp --permanent

命令含义:–zone #作用域
–add-port=1935/tcp #添加端口,格式为:端口/通讯协议
–permanent #永久生效,没有此参数重启后失效

3、重启防火墙
重启防火墙命令:firewall-cmd --reload
4、查询端口是否开启
查询端口命令:firewall-cmd --query-port=5011/tcp
返回yes 表示已开启 no表示未开启

VS Code 远程使用jupyter服务,需要带上token口令,格式:
http://192.168.1.146:8888/?token=aef9a514fa484b83aa4554371024ebc5b50bbed25c2521ab

pip执行任何命令都报错是工具出现了问题,直接重新安装pip工具就好了
3.7(不包含3.7)以下版本

wget https://bootstrap.pypa.io/pip/3.6/get-pip.py
sudo python get-pip.py 

3.7以上版本

wget https://bootstrap.pypa.io/get-pip.py
sudo python get-pip.py    # 运行安装脚本

windows下 【python】ffmpeg包的安装配置
pip install ffmpeg后不能直接使用,必须安装下载ffmpeg应用软件,并将其路径加入到电脑的环境变量中。参考。

5.检查环境是否配置正确

虚拟环境下执行

python #进入python解释器
import torch
​torch.cuda.is_available()

如果返回false说明没有配置对,执行命令时不会调用GPU,需要安装cuda和对应的torch版本:

conda list 查看当前环境的包
删除现有的torch
pip uninstall torch torchvision

torch.cuda.is_available()返回false——解决办法
安装 真·GPU版 Pytorch

pytorch安装GPU版本 (Cuda12.1)
解决pytorch检测不到cuda的问题/pytorch找不到GPU_深度学习_薛猫颚的腚-DevPress官方社区

报错找不到’_cffi_backend’模块ModuleNotFoundError: No module named ‘_cffi_backend’

pip -vvv install --upgrade --force-reinstall cffi

AutoDL使用

设置github等学术加速

source /etc/network_turbo

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好,希望能够真正帮助到大家。

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值