解决pytorch服务打包docker镜像过大问题，使用torch的cpu版本

最新推荐文章于 2024-12-11 09:03:23 发布

空气力学先驱

最新推荐文章于 2024-12-11 09:03:23 发布

阅读量1.3k

点赞数 3

文章标签： pytorch 人工智能 python linux

本文链接：https://blog.csdn.net/Explooosion/article/details/138262994

版权

文章讲述了如何在Linux机器上通过仅安装PyTorch的CPU版本来降低镜像大小，避免了默认安装CUDA带来的过大体积。作者提到将`torch`版本设置为2.1.0+cpu，并从特定链接下载相关库，如`torch_geometric`，以实现更高效的空间利用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用torch的cpu版本即可，修改pip的下载依赖，在linux机器上不要默认下载

整个服务只使用了pytorch关于gcn相关的代码，但是要安装pytorch包，这是很大的。尤其如果你在linux上安装torch，会默认安装cuda版本，这会导致大小激增。我默认安装后，镜像大小8个多G，这很显然是不合理的。
后来我为了减少体积，我只安装了torch的cpu版本，即修改了requirement.txt文件

-f https://download.pytorch.org/whl/cpu/torch_stable.html
torch==2.1.0+cpu
-f https://pytorch-geometric.com/whl/torch-2.1.0+cpu.html
torch_geometric

只安装cpu版本，大小只有1.6G.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

空气力学先驱

关注关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

win10系统通过docker部署pytorch的cpu环境_中文地址命名实体识别案例

yilvyangguang520的博客

07-22

335

win10系统通过docker部署pytorch的cpu环境_中文地址命名实体识别案例

Dockerfile封装制作pytorch（tensorflow）深度学习框架 + jupyterlab服务 + ssh服务镜像

qq_41905051的博客

06-18

2873

Dockerfile封装制作pytorch（tensorflow）深度学习框架 + jupyterlab服务 + ssh服务镜像

参与评论您还未登录，请先登录后发表或查看评论

虚拟环境内使用pip安装torch内存爆掉

mao_mao_chonga的博客

05-01

1694

目录问题描述与解决方案问题描述解决方案确定与电脑相配的cuda版本寻找对应的`.whl`文件打开网站下载完成后进入虚拟环境问题描述与解决方案问题描述在anaconda的虚拟环境内安装torch失败后，再次运行该命令内存爆满。卸载并重新安装anaconda后仍出现此问题。解决方案借助.whl文件进行安装确定与电脑相配的cuda版本本文版本为11.0 寻找对应的.whl文件打开网站 https://download.pytorch.org/whl/torch_stable.html. CTRL+

Pyinstaller打包torch程序终极保姆级历程-预防解决若干问题以及防止打包文件过大

热门推荐

mabuqinuo_的博客

03-05

1万+

用Pyinstaller打包程序三天的经验用pyinstaller打包程序，三天的问题，经验，总结，别问，跟着做就完事了。一、创建新环境首先，创建一个新的环境。 1.因为如果原来的环境有Anaconda啥的，他会很多绑定的不需要的库也打包进去，导致最终打包出来的文件很大。 2.说一下我的python是3.6版本，torch是1.2.0 3.这里我们用pipenv来管理这个环境，很干净，下面跟我做 // 进入程序所在目录 (base) C:\Users\>d

解决python代码打包太大的问题

wanjunjie123的博客

10-14

953

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pyinstaller（打包必须要的包）(G:\PycharmProjects\微电网容量规划\储能容量配置)是我的python代码所在的位置。使用cd /d G:\PycharmProjects\微电网容量规划\储能容量配置。8、生成的exe文件在当前文件夹的dist目录下。6、跳转到需要打包的py代码所在的文件夹位置。提供先进的推理，复杂的指令，更多的创造力。

python docker 镜像过大_docker（19）：压缩docker python 镜像大小，减少依赖

weixin_39614060的博客

12-20

553

1，关于python镜像使用python开发的时候遇到问题。发现构建之后镜像还是比较大的。想办法减少点文件啥的。能让镜像小点，这样发布部署啥的都方便。2，构建dockerfilepython3 在构建pandas 遇到点问题。还是使用python2 进行构建的：FROM python:2-slim-jessie#设置 apt sources pip timezone 参数RUN echo "de...

缩减 Python 打包的 Docker 包大小

九十分的博客

01-03

1613

通过选择轻量的基础镜像、精简依赖项、使用多阶段构建、清理不需要的文件和合理使用，可以显著减小 Python 打包的 Docker 镜像大小。优化镜像大小对于提高应用程序的性能和部署效率至关重要。

史上最详细解决“搭建GPU版Pytorch Docker镜像”教程

SpadgerZ的博客

03-15

4918

CUDA版本对应的Pytorch版本搭建GPU版本的Pytorch Docker镜像了解并安装完Docker之后，来配置安装GPU版本的Pytorch Docker镜像。 1.拉取基础的操作系统镜像关键命令：docker pull 具体指令：docker pull nvidia/cuda:10.1-cudnn7-devel-ubuntu16.04 操作完成之后，使用docker images命令查看当前docker中存在的镜像：可以看到第一行就是所拉取的镜像，该镜像中已经安.

使用docker搭建分布式pytorch+cuda训练模型（一）

2401_83051627的博客

07-10

1636

由于训练模型所需要的环境一致，因此使用docker创建镜像并在各个服务器中开启容器。随后运行pytorch模型进行分布式训练。过程如下主机使用centos镜像创建容器在容器中搭建环境，上传代码将容器打包成镜像将镜像发布到各个服务器各个服务器开启容器，执行分布式训练。

pytorch 具有docker 版并且带 jupyter_notebook ，方便测试开发。

03-07

pytorch 具有docker 版并且带 jupyter_notebook ，方便测试开发。 pytorch 具有docker 版并且带 jupyter_notebook ，方便测试开发。 pytorch 具有docker 版并且带 jupyter_notebook ，方便测试开发。

使用docker搭建分布式pytorch+cuda训练模型（二）

2401_83051627的博客

07-11

1318

假如训练集中有样本100个，分给两台机器，每台两块gpu，那么每个gpu上使用25个样本，通过实现自定义数据集，主机可以规划进程使用的数据集部分，例如进程1使用第0-24样本，进程2使用第25-49样本等。此处需要设置主机IP与监听端口，主机运行此程序后会自动打开端口，从服务器则会通过IP访问此端口，由于当前是容器互联，所以IP为局域网IP，如果部署在服务器上需要使用上一篇文章中的容器端口映射打开对公网的端口。pytorch提供了多机多卡分布式学习工具，即多台服务器，每台服务器有多张GPU。

解决pyinstaller打包程序太大的问题

XavierJ的博客

11-24

2054

项目场景我在github上fork了一个使用python编写的flappybird游戏，然后想着打包一下。下载地址 https://github.com/XavierJiezou/FlapPyBird 游戏截图项目打包先安装pyinstaller库： pip install pyinstaller 然后运行打包命令： pyinstaller -F -w -i flappy.ico flappy.py 遇到的坑问题1 开始我是在vscode终端powershell中运行打包命令，打包过程提

在Docker中部署Python项目，以及压缩Docker镜像大小

qq_41699621的博客

08-31

6700

一、创建docker目录：在目录下面新建三个文件：Dockerfile，项目文件，requirements.txt Dockerfile文件内容格式如下： # 基于镜像基础 FROM python:3.6 # 维护者信息 MAINTAINER name name@163.com # 复制当前代码文件到容器中 /app ADD . /app # 设置app文件夹是工作目录 /app WORKDIR /app # 安装所需的包 RUN pip install -r require

02、Docker 镜像管理命令全解：从基础到进阶的实操指南

迷逝

09-19

416

结果类似下面的表格，但是终端窗口小的话，会换行。换行之后看起来真是痛苦。你可以把字调小一点。

Pyinstaller 打包的文件过大，根本原因在于包含了冗余的依赖文件

荷碧TongZJ 的水文

01-06

1万+

网上有许多减大小的方法，比如虚拟环境 (减少二进制文件的搜索路径)、upx 压缩 (逐个压缩二进制文件，能减体积但可能增加启动时间)。但它们都没有解决 exe 文件过大的根本原因，

python docker 镜像过大_详解六种减小Docker镜像大小的方法

weixin_39861627的博客

12-20

2383

我从2017年做Vulhub开始，一直在和一个麻烦的问题做斗争：在编写Dockerfile的时候，如何减小 docker build 生成的镜像大小？这篇文章就给大家总结一下我自己使用过的六种减小镜像大小的方法。1. 使用Alpine LinuxAlpine Linux是一个基于BusyBox和Musl Libc的Linux发行版，其最大的优势就是小。一个纯的基础Alpine Docker镜像在...

Pyinstaller打包太大怎么办？

最新发布

zkw54334的博客

12-11

2657

以下是修改后的spec['PY主文件', 'PY1辅助文件', 'PY2辅助文件', 'PY3辅助文件'],pathex=['多个PY文件所在路径'],datas=[], # 确保不打包不必要的资源文件hiddenimports=[], # 如果有遗漏的模块，显式添加excludes=['tkinter', 'matplotlib', 'numpy'], # 排除不需要的模块exe = EXE(pyz,a.scripts,a.datas,[],name='修改EXE的文件名',

如何优化Docker镜像的大小？

chengede98的博客

02-02

1379

Docker数据卷（Volumes）是一种持久化存储机制，允许在容器和主机之间共享数据。优化Docker镜像大小对于提高部署速度、减少存储需求以及增强安全性都至关重要。通过以上方法，可以有效利用Docker的数据卷功能来提高应用的性能、可移植性和可维护性。Docker的缓存机制可以显著加速镜像构建过程。

搭建GPU版本的Pytorch Docker镜像

07-15

你可以按照以下步骤来搭建一个GPU版本的PyTorch Docker镜像： 1. 首先，确保你的机器上已经安装了NVIDIA驱动程序。可以使用以下命令来检查驱动程序的安装情况： ``` nvidia-smi ``` 2. 安装Docker和NVIDIA Docker运行时。根据你的操作系统，可以按照官方文档的说明进行安装。 3. 创建一个新的Dockerfile，可以使用以下命令在你的项目目录中创建一个名为Dockerfile的文件： ``` touch Dockerfile ``` 4. 使用任何文本编辑器打开Dockerfile，并将以下内容添加到文件中： ```dockerfile # 指定基础镜像 FROM pytorch/pytorch:latest # 安装CUDA工具包 RUN apt-get update && apt-get install -y --no-install-recommends \ cuda-toolkit-11-0 \ && rm -rf /var/lib/apt/lists/* # 设置环境变量 ENV PATH /usr/local/nvidia/bin:${PATH} ENV LD_LIBRARY_PATH /usr/local/nvidia/lib:/usr/local/nvidia/lib64:${LD_LIBRARY_PATH} # 安装PyTorch和Torchvision RUN pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html # 设置工作目录 WORKDIR /app # 复制项目文件到镜像中 COPY . /app # 安装项目依赖 RUN pip install -r requirements.txt # 设置启动命令 CMD ["python", "main.py"] ``` 请注意，上面的Dockerfile使用了pytorch/pytorch:latest作为基础镜像，并安装了CUDA工具包以支持GPU计算。你可以根据你的需求选择不同的基础镜像和CUDA版本。 5. 在同一个目录中创建一个名为requirements.txt的文件，并列出你项目所需的所有Python依赖包。 6. 确保你的项目文件（包括Dockerfile和requirements.txt）都在同一个目录中。 7. 打开终端，导航到包含Dockerfile和requirements.txt的目录，并执行以下命令来构建Docker镜像： ``` docker build -t my_pytorch_image . ``` 这将使用Dockerfile中的指令构建一个名为my_pytorch_image的镜像。确保在命令末尾有一个点，表示Dockerfile所在的当前目录。 8. 构建完成后，你可以使用以下命令来运行一个容器并使用GPU： ``` docker run --gpus all -it my_pytorch_image ``` 这将创建一个新的容器并进入交互模式，你可以在其中运行你的PyTorch代码，并利用GPU进行加速。希望这些步骤能帮助你搭建一个GPU版本的PyTorch Docker镜像！如果有任何问题，请随时提问。