容器技术
J_Xiong0117
一枚终生学习的算法工程师
展开
-
Docker技术随记(九):服务镜像本地测试脚本
服务镜像本地测试脚本。原创 2023-04-20 09:36:34 · 146 阅读 · 0 评论 -
Docker技术随记(八):Docker深度学习工作环境搭建
nlp-pytorch环境docker run --gpus all --cpus 16 --memory 500gb -d -p 0.0.0.0:6009:6006 -p 9529:8888 -p 1257:22 -v /data/nlp/jx:/root/jx -v /etc/localtime:/etc/localtime --name jx_ngc -e ROOT_PASS="yl123456" -e NOTEBOOK_PASS="yl123456" -e NOTEBOOK_USER="jx" r原创 2022-03-04 10:35:32 · 726 阅读 · 0 评论 -
Docker技术随记(七):Docker相关指令(工作用到)
1.docker infodocker stats --format "table {{.Container}}\t{{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"2.docker环境打包docker commit jx_4 jx:bert3.Horvod分布式训练环境搭建## Step 1. 拉取docker镜像docker pull horovod/horovod:0.18.1-tf1.14.0-torch1.2.0-mxnet1原创 2022-02-28 17:58:13 · 346 阅读 · 0 评论 -
Docker技术随记(六):Docker的持久化存储和数据共享
1.Container Layer2.Data Volume3.Docker持久化数据的方案基于本地文件系统的Volume。可以在执行docker create或docker run时,通过-v参数将主机的目录作为容器的数据卷。这部分功能便是基于本地文件系统的volume管理。基于plugin的Volume,支持第三方的存储方案,比如NAS,aws4.Volume的类型受管理的data volume,由docker后台自动创建绑定挂载Volume,具体挂载位置可以由用户指定..原创 2022-02-28 17:55:00 · 241 阅读 · 0 评论 -
Docker技术随记(五):Dockerfile语法梳理及最佳实践
FROM## Ps.尽量使用官方的image作为base image!FROM scratch # 制作base imageFROM centos # 使用base imageFROM ubuntu:14.04 # 指定base image及版本号LABEL## Ps. Metadata不可少!LABEL maintainer="jack18588951684@163.com"LABEL version="1.0"LABEL description="This is d原创 2022-02-28 17:11:02 · 234 阅读 · 0 评论 -
Docker技术随记(四):Container
1.什么是Container通过Image创建(copy)在Image layer之上建立一个container layer(可读写)类比面向对象:类(Image)和实例(Container)Image负责app的存储和分发,Container负责运行app2.容器的常用基本操作1)进入容器内部docker exec -it container_id /bin/bash2)打印容器的ip地址docker exec -it container_id ip a3)停掉容器dock原创 2022-02-28 16:44:20 · 171 阅读 · 0 评论 -
Docker技术随记(三):Docker Image概述
1.什么是image文件和meta data的集合(root filesystem)分层的,并且每一层都可以添加/改变/删除文件,成为一个新的image不同的image可以共享相同的layerimage本身是read-only的2.image的获取1)方式一.Build from Dockerfile## Step 1.新建一个Dockerfile文件,如下:=======================================================FROM ubu原创 2022-02-28 16:32:51 · 281 阅读 · 0 评论 -
Docker技术随记(二):Docker的架构和底层技术
1.Docker PlatformDocker提供了一个开发、打包、运行app的平台把app和底层infrastructure隔离开来2.Docker Engine后台进程(dockerd):通过ps -ef | grep docker查看docker后台进程REST API ServerCLI接口(docker)3.Docker Architeture4.底层技术支持Namespaces:做隔离pid,net,ipc,mnt,utsControl groups:做资源限原创 2022-02-28 16:16:36 · 2382 阅读 · 0 评论 -
Docker技术随记(一):容器技术概述
1.Long Long Time Ago一台服务器部署一个app:部署非常慢成本非常高资源浪费难于迁移和扩展可能会被限定硬件厂商2.虚拟化技术采用虚拟化技术:一台物理机可以部署多个app每个app独立运行再一个VM里虚拟化的优点:资源池————一台物理机的资源分配到了不同的虚拟机里很容易扩展————加物理机or加虚拟机很容易云化————亚马逊AWS,阿里云等虚拟化的局限性:每一个虚拟机都是一个完整的操作系统,要给其分配资源,当虚拟机数量增多时,操作系统本身消耗原创 2022-02-28 16:02:26 · 502 阅读 · 0 评论