本地大模型2:安装部署Docker

引言:什么是Dockers?

Docker 是一个开源的容器化平台,旨在简化应用程序的开发、发布和运行。它通过将应用程序及其依赖打包在轻量级的容器中,确保在不同环境中的一致性和可移植性。

Docker 的几个关键点:

  1. 容器化技术:Docker 容器将应用程序及其所有依赖打包在一起,确保它们可以在任何平台上运行,无需担心环境配置问题。
  2. 镜像(Image):Docker 镜像是容器的只读模板,用于创建 Docker 容器。镜像可以共享和复用,支持快速部署。
  3. 容器(Container):容器是镜像的运行实例,类似于虚拟机,但更轻量级,启动速度快,资源开销小。
  4. Dockerfile:用于定义构建镜像的脚本,通过声明所需的软件包和配置,自动生成镜像。
  5. 跨平台兼容:Docker 容器可以在本地、云端或任何支持 Docker 的环境中运行,极大简化了应用的迁移和扩展。
  6. DevOps 整合:Docker 是现代 DevOps 流程中的核心工具之一,支持持续集成和持续交付(CI/CD),加速开发和部署。

通过 Docker,开发者可以实现“开发一次,运行处处”的目标,大大提高开发和运维的效率。

1.在浏览器打开链接https://github.com/tech-shrimp/docker_installer,会很慢,推荐搭个梯子或者开一个加速器

2.下拉找到windows模块,按照步骤进行,

2.1 任务栏搜索【启用或关闭Windows功能】,启用"适用于Linux的Windows子系统" + "虚拟机平台",点击确定

2.2 重启

2.3 管理员权限打开命令提示符,安装wsl2

wsl --set-default-version 2
wsl --update --web-download

2.4 打开链接:https://github.com/tech-shrimp/docker_installer/releases,选择Windows版本并点击下载

2.5 双击安装,点击ok,点击close and log out,会关闭应用并锁屏,重新进入桌面会出现docker的图标,并弹出一个提示框,然后点击close

2.6 双击docker,点击Accept,进入docker

2.7 都跳过,然后会进入docker页面

3.修改大模型镜像保存位置:点击设置,资源,点击Browse修改位置(D盘或者其他盘),点击应用,如果你已经下载了模型在C盘,会弹出提示框问你是否移动到修改的位置,点击:【yes,move it】即可,不过,这样可能模型会用不了,推荐删了重新再下载到D盘。注意:一定要修改位置,否则下载两个模型就差不多20GC盘没了!!!

本地部署大模型Docker是一种通过使用Docker容器技术来在本地环境中部署和运行大型机器学习模型的方法。Docker是一种开源的容器化平台,可以将应用程序及其所有依赖项打包到一个标准化的容器中,从而确保在不同的环境中一致地运行。以下是本地部署大模型Docker的一般步骤: 1. **安装Docker**:首先,需要在本地机器上安装Docker。可以从Docker官网下载并安装适合操作系统的Docker版本。 2. **拉取或创建Docker镜像**:根据需要部署的模型,可以选择拉取现有的Docker镜像,或者自己创建一个镜像。例如,可以使用Dockerfile来定义镜像的构建过程。 3. **编写Dockerfile**:Dockerfile是一个文本文件,包含了构建Docker镜像的指令。可以通过编写Dockerfile来指定基础镜像、安装依赖项、复制模型文件、设置环境变量等。 4. **构建Docker镜像**:在Dockerfile所在目录下运行`docker build`命令来构建镜像。例如: ```sh docker build -t my-model:latest . ``` 5. **运行Docker容器**:使用`docker run`命令来运行构建好的镜像。例如: ```sh docker run -d -p 8080:8080 my-model:latest ``` 其中,`-d`表示后台运行,`-p`用于端口映射。 6. **访问模型服务**:根据镜像中定义的端口和接口,可以通过本地地址和端口来访问部署好的模型服务。例如,可以在浏览器中访问`http://localhost:8080`来查看服务状态或进行预测。 7. **管理和监控**:可以使用Docker命令来管理和监控容器,例如`docker ps`查看运行中的容器,`docker stop`停止容器,`docker rm`删除容器等。 通过以上步骤,可以在本地环境中成功部署一个大模型Docker容器,从而实现模型的快速部署和运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值