tensorflow与kubernetes/docker结合使用实践

最新推荐文章于 2023-08-30 12:25:37 发布
最新推荐文章于 2023-08-30 12:25:37 发布
阅读量222 收藏 1
点赞数
文章标签： 运维 网络 人工智能
原文链接：http://www.cnblogs.com/xuxinkun/p/5983633.html
版权

tensorflow

tensorflow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从图象的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

tensorflow可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。本文主要探讨的是tensorflow在大规模容器上运行的一种方案。

tensorflow作为深度学习的框架，其对于数据的处理可以分为训练、验证、测试、服务几种。一般来说，训练是用指来训练模型，验证主要用以检验所训练出来的模型的正确性和是否过拟合。测试是计算黑盒数据对于训练的模型进行测试，从而评判模型的准确率。服务是指利用已经完成的训练模型提供服务。这里为了简化，将处理分为了训练和服务两种。

训练主要是指从给定训练的程序和训练数据集，用以生成训练的模型。训练完成的模型可以通过存储形成为checkpoints文件。

验证、测试、服务统统归一到服务，其主要流程是使用已有的模型，对于数据集进行处理。

tensorflow训练 in kubernetes

对于tensorflow训练的支持，kubernetes可以通过创立多个pod来进行支持。tensorflow分布式可以通过制定parameters服务器(ps参数服务器)和worker服务器进行。

首先ps是整个训练集群的参数服务器，保存模型的Variable，worker是计算模型梯度的节点，得到的梯度向量会交付给ps更新模型。in-graph与between-graph对应，但两者都可以实现同步训练和异步训练，in-graph指整个集群由一个client来构建graph，并且由这个client来提交graph到集群中，其他worker只负责处理梯度计算的任务，而between-graph指的是一个集群中多个worker可以创建多个graph，但由于worker运行的代码相同因此构建的graph也相同，并且参数都保存到相同的ps中保证训练同一个模型，这样多个worker都可以构建graph和读取训练数据，适合大数据场景。同步训练和异步训练差异在于，同步训练每次更新梯度需要阻塞等待所有worker的结果，而异步训练不会有阻塞，训练的效率更高，在大数据和分布式的场景下一般使用异步训练。----TensorFlow深度学习

我使用rc创建多个ps和worker服务器。

gcr.io/tensorflow/tensorflow:latest镜像是tensorflow提供的官网镜像，使用CPU进行计算。使用GPU计算的版本下文再行介绍。

[root@A01-R06-I184-22 yaml]# cat ps.yaml 
apiVersion: v1
kind: ReplicationController
metadata:
  name: tensorflow-ps-rc
spec:
  replicas: 2
  selector:
    name: tensorflow-ps
  template:
    metadata:
      labels:
        name: tensorflow-ps
        role: ps
    spec:
      containers:
        - name: ps
          image: gcr.io/tensorflow/tensorflow:latest
          ports:
           - containerPort: 2222

[root@A01-R06-I184-22 yaml]# cat worker.yaml 
apiVersion: v1
kind: ReplicationController
metadata:
  name: tensorflow-worker-rc
spec:
  replicas: 2
  selector:
    name: tensorflow-worker
  template:
    metadata:
      labels:
        name: tensorflow-worker
        role: worker
    spec:
      containers:
        - name: worker
          image: gcr.io/tensorflow/tensorflow:latest
          ports:
           - containerPort: 2222

之后为ps和worker分别创建服务。

[root@A01-R06-I184-22 yaml]# cat ps-srv.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    name: tensorflow-ps
    role: service
  name: tensorflow-ps-service
spec:
  ports:
    - port: 2222
      targetPort: 2222
  selector:
    name: tensorflow-ps
    
[root@A01-R06-I184-22 yaml]# cat worker-srv.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    name: tensorflow-worker
    role: service
  name: tensorflow-wk-service
spec:
  ports:
    - port: 2222
      targetPort: 2222
  selector:
    name: tensorflow-worker

我们可以通过查看service来查看对应的容器的ip。

[root@A01-R06-I184-22 yaml]# kubectl describe service tensorflow-ps-service 
Name:           tensorflow-ps-service
Namespace:      default
Labels:         name=tensorflow-ps,role=service
Selector:       name=tensorflow-ps
Type:           ClusterIP
IP:         10.254.170.61
Port:           <unset> 2222/TCP
Endpoints:      4.0.84.3:2222,4.0.84.4:2222
Session Affinity:   None
No events.

[root@A01-R06-I184-22 yaml]# kubectl describe service tensorflow-wk-service 
Name:           tensorflow-wk-service
Namespace:      default
Labels:         name=tensorflow-worker,role=service
Selector:       name=tensorflow-worker
Type:           ClusterIP
IP:         10.254.70.9
Port:           <unset> 2222/TCP
Endpoints:      4.0.84.5:2222,4.0.84.6:2222
Session Affinity:   None
No events.

这里我使用deep_recommend_system来进行分布式的实验。

在pod中先下载对应的deep_recommend_system的代码。

curl https://codeload.github.com/tobegit3hub/deep_recommend_system/zip/master -o drs.zip
unzip drs.zip
cd deep_recommend_system-master/distributed/

在ps的其中一个容器(4.0.84.3)中执行启动ps服务器的任务：

root@tensorflow-ps-rc-b5d6g:/notebooks/deep_recommend_system-master/distributed# nohup python cancer_classifier.py --ps_hosts=4.0.84.3:2222,4.0.84.3:2223 --worker_hosts=4.0.84.5:2222,4.0.84.6:2222 --job_name=ps --task_index=0 >log1 &
[1] 502
root@tensorflow-ps-rc-b5d6g:/notebooks/deep_recommend_system-master/distributed# nohup: ignoring input and redirecting stderr to stdout
 
root@tensorflow-ps-rc-b5d6g:/notebooks/deep_recommend_system-master/distributed# nohup python cancer_classifier.py --ps_hosts=4.0.84.3:2222,4.0.84.4:2223 --worker_hosts=4.0.84.5:2222,4.0.84.6:2222 --job_name=ps --task_index=1 >log2 &
[2] 603
root@tensorflow-ps-rc-b5d6g:/notebooks/deep_recommend_system-master/distributed# nohup: ignoring input and redirecting stderr to stdout

这里我尝试使用两个pod分别做ps服务器，但是总是报core dump的错误。官网也有类似错误，未能解决，推测原因可能是复用了某个设备的缘故(两个pod都在同一个宿主机上)。使用一个pod作为两个ps服务器即无问题。

在worker两个容器中分别执行：

root@tensorflow-worker-rc-vznvt:/notebooks/deep_recommend_system-master/distributed# nohup python cancer_classifier.py --ps_hosts=4.0.84.3:2222,4.0.84.3:2223 --worker_hosts=4.0.84.5:2222,4.0.84.6:2222 --job_name=worker --task_index=0 >log &

***********************

root@tensorflow-worker-rc-cpnt7:/notebooks/deep_recommend_system-master/distributed# nohup python cancer_classifier.py --ps_hosts=4.0.84.3:2222,4.0.84.3:2223 --worker_hosts=4.0.84.5:2222,4.0.84.6:2222 --job_name=worker --task_index=1 >log &

之后在worker服务器上的checkpoint文件夹中可以查看计算模型的中间保存结果。

root@tensorflow-worker-rc-vznvt:/notebooks/deep_recommend_system-master/distributed# ll checkpoint/
total 840
drwxr-xr-x 2 root root   4096 Oct 10 15:45 ./
drwxr-xr-x 3 root root     76 Oct 10 15:18 ../
-rw-r--r-- 1 root root      0 Sep 23 14:27 .gitkeeper
-rw-r--r-- 1 root root    270 Oct 10 15:45 checkpoint
-rw-r--r-- 1 root root  86469 Oct 10 15:45 events.out.tfevents.1476113854.tensorflow-worker-rc-vznvt
-rw-r--r-- 1 root root 248875 Oct 10 15:37 graph.pbtxt
-rw-r--r-- 1 root root   2229 Oct 10 15:42 model.ckpt-1172
-rw-r--r-- 1 root root  94464 Oct 10 15:42 model.ckpt-1172.meta
-rw-r--r-- 1 root root   2229 Oct 10 15:43 model.ckpt-1422
-rw-r--r-- 1 root root  94464 Oct 10 15:43 model.ckpt-1422.meta
-rw-r--r-- 1 root root   2229 Oct 10 15:44 model.ckpt-1670
-rw-r--r-- 1 root root  94464 Oct 10 15:44 model.ckpt-1670.meta
-rw-r--r-- 1 root root   2229 Oct 10 15:45 model.ckpt-1921
-rw-r--r-- 1 root root  94464 Oct 10 15:45 model.ckpt-1921.meta
-rw-r--r-- 1 root root   2229 Oct 10 15:41 model.ckpt-921
-rw-r--r-- 1 root root  94464 Oct 10 15:41 model.ckpt-921.meta

tensorflow gpu支持

tensorflow gpu in docker

docker可以通过提供gpu设备到容器中。nvidia官方提供了nvidia-docker的一种方式，其用nvidia-docker的命令行代替了docker的命令行来使用GPU。

nvidia-docker run -it -p 8888:8888 gcr.io/tensorflow/tensorflow:latest-gpu

这种方式对于docker侵入较多，因此nvidia还提供了一种nvidia-docker-plugin的方式。其使用流程如下：

首先在宿主机启动nvidia-docker-plugin：

[root@A01-R06-I184-22 nvidia-docker]# ./nvidia-docker-plugin 
./nvidia-docker-plugin | 2016/10/10 00:01:12 Loading NVIDIA unified memory
./nvidia-docker-plugin | 2016/10/10 00:01:12 Loading NVIDIA management library
./nvidia-docker-plugin | 2016/10/10 00:01:17 Discovering GPU devices
./nvidia-docker-plugin | 2016/10/10 00:01:18 Provisioning volumes at /var/lib/nvidia-docker/volumes
./nvidia-docker-plugin | 2016/10/10 00:01:18 Serving plugin API at /run/docker/plugins
./nvidia-docker-plugin | 2016/10/10 00:01:18 Serving remote API at localhost:3476

可以看到nvidia-docker-plugin监听了3486端口。然后在宿主机上运行docker run -ti curl -s http://localhost:3476/v1.0/docker/cli -p 8890:8888 gcr.io/tensorflow/tensorflow:latest-gpu /bin/bash命令以创建tensorflow的GPU容器。并可以在容器中验证是否能正常import tensorflow。

[root@A01-R06-I184-22 ~]# docker run -ti `curl -s http://localhost:3476/v1.0/docker/cli` -p 8890:8888 gcr.io/tensorflow/tensorflow:latest-gpu /bin/bash
root@7087e1f99062:/notebooks# python
Python 2.7.6 (default, Jun 22 2015, 17:58:13) 
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcurand.so locally
>>>

可以看到tensorflow已经能够正确加载了。

这里同样使用deep_recommend_system进行测试。在pod中先下载对应的deep_recommend_system的代码。

curl https://codeload.github.com/tobegit3hub/deep_recommend_system/zip/master -o drs.zip
unzip drs.zip
cd deep_recommend_system-master/

然后使用GPU0和1进行计算。

root@7087e1f99062:/notebooks/deep_recommend_system-master# export CUDA_VISIBLE_DEVICES='0,1'    //用以指定使用的GPU的编号
root@7087e1f99062:/notebooks/deep_recommend_system-master# python cancer_classifier.py 
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:111] successfully opened CUDA library libcurand.so locally
Use the model: wide_and_deep
Use the optimizer: adagrad
Use the model: wide_and_deep
Use the model: wide_and_deep
I tensorflow/core/common_runtime/gpu/gpu_device.cc:951] Found device 0 with properties: 
name: Tesla K20c
major: 3 minor: 5 memoryClockRate (GHz) 0.7055
pciBusID 0000:02:00.0
Total memory: 4.69GiB
Free memory: 4.61GiB
W tensorflow/stream_executor/cuda/cuda_driver.cc:572] creating context when one is currently active; existing: 0x24402e0
I tensorflow/core/common_runtime/gpu/gpu_device.cc:951] Found device 1 with properties: 
name: Tesla K20c
major: 3 minor: 5 memoryClockRate (GHz) 0.7055
pciBusID 0000:04:00.0
Total memory: 4.69GiB
Free memory: 4.61GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:972] DMA: 0 1 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] 0:   Y Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] 1:   Y Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:1041] Creating TensorFlow device (/gpu:0) -> (device: 0, name: Tesla K20c, pci bus id: 0000:02:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:1041] Creating TensorFlow device (/gpu:1) -> (device: 1, name: Tesla K20c, pci bus id: 0000:04:00.0)
[0:00:34.437041] Step: 100, loss: 2.97578692436, accuracy: 0.77734375, auc: 0.763736724854
[0:00:32.162310] Step: 200, loss: 1.81753754616, accuracy: 0.7890625, auc: 0.788772583008
[0:00:37.559177] Step: 300, loss: 1.26066374779, accuracy: 0.865234375, auc: 0.811861813068
[0:00:36.082163] Step: 400, loss: 0.920016527176, accuracy: 0.8359375, auc: 0.820605039597

同样我可以使用nvidia-smi查看GPU使用情况

[root@A01-R06-I184-22 ~]# nvidia-smi 
Tue Oct 11 00:10:28 2016       
+------------------------------------------------------+                       
| NVIDIA-SMI 352.39     Driver Version: 352.39         |                       
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla K20c          Off  | 0000:02:00.0     Off |                    0 |
| 30%   26C    P0    48W / 225W |   4540MiB /  4799MiB |      2%      Default |
+-------------------------------+----------------------+----------------------+
|   1  Tesla K20c          Off  | 0000:04:00.0     Off |                    0 |
| 30%   31C    P0    48W / 225W |   4499MiB /  4799MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   2  Tesla K20c          Off  | 0000:83:00.0     Off |                    0 |
| 30%   25C    P8    26W / 225W |     11MiB /  4799MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   3  Tesla K20c          Off  | 0000:84:00.0     Off |                    0 |
| 30%   24C    P8    25W / 225W |     11MiB /  4799MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0    132460    C   python                                        4524MiB |
|    1    132460    C   python                                        4484MiB |
+-----------------------------------------------------------------------------+

nvidia-docker-plugin工作原理是是其提供了一个API

[root@A01-R06-I184-22 ~]# curl -s http://localhost:3476/v1.0/docker/cli
--volume-driver=nvidia-docker --volume=nvidia_driver_352.39:/usr/local/nvidia:ro --device=/dev/nvidiactl --device=/dev/nvidia-uvm --device=/dev/nvidia0 --device=/dev/nvidia1 --device=/dev/nvidia2 --device=/dev/nvidia3

可以看到curl -s http://localhost:3476/v1.0/docker/cli命令实际是提供了docker run时候的一些必要参数。其中包括把gpu设备映射进入容器中的部分(--device=/dev/nvidiactl --device=/dev/nvidia-uvm --device=/dev/nvidia0 --device=/dev/nvidia1 --device=/dev/nvidia2 --device=/dev/nvidia3)，还包括了将nvidia_driver_352.39存储映射进入容器的部分。

接下来我们对于nvidia_driver_352.39进行分析

[root@A01-R06-I184-22 ~]# docker volume ls
DRIVER              VOLUME NAME
nvidia-docker       nvidia_driver_352.39
[root@A01-R06-I184-22 ~]# docker volume inspect nvidia_driver_352.39 
[
    {
        "Name": "nvidia_driver_352.39",
        "Driver": "nvidia-docker",
        "Mountpoint": "/var/lib/nvidia-docker/volumes/nvidia_driver/352.39"
    }
]

可以看到该存储其实只是一个文件夹。对文件夹/var/lib/nvidia-docker/volumes/nvidia_driver/352.39/进行分析

[root@A01-R06-I184-22 ~]# tree -L 3 /var/lib/nvidia-docker/volumes/nvidia_driver/352.39/
/var/lib/nvidia-docker/volumes/nvidia_driver/352.39/
├── bin
│   ├── nvidia-cuda-mps-control
│   ├── nvidia-cuda-mps-server
│   ├── nvidia-debugdump
│   ├── nvidia-persistenced
│   └── nvidia-smi
├── lib
│   ├── libcuda.so -> libcuda.so.352.39
│   ├── libcuda.so.1 -> libcuda.so.352.39
│   ├── libcuda.so.352.39
│   ├── libGL.so.1 -> libGL.so.352.39
│   ├── libGL.so.352.39
│   ├── libnvcuvid.so.1 -> libnvcuvid.so.352.39
│   ├── libnvcuvid.so.352.39
│   ├── libnvidia-compiler.so.352.39
│   ├── libnvidia-eglcore.so.352.39
│   ├── libnvidia-encode.so.1 -> libnvidia-encode.so.352.39
│   ├── libnvidia-encode.so.352.39
│   ├── libnvidia-fbc.so.1 -> libnvidia-fbc.so.352.39
│   ├── libnvidia-fbc.so.352.39
│   ├── libnvidia-glcore.so.352.39
│   ├── libnvidia-glsi.so.352.39
│   ├── libnvidia-ifr.so.1 -> libnvidia-ifr.so.352.39
│   ├── libnvidia-ifr.so.352.39
│   ├── libnvidia-ml.so.1 -> libnvidia-ml.so.352.39
│   ├── libnvidia-ml.so.352.39
│   ├── libnvidia-opencl.so.1 -> libnvidia-opencl.so.352.39
│   ├── libnvidia-opencl.so.352.39
│   ├── libvdpau_nvidia.so.1 -> libvdpau_nvidia.so.352.39
│   └── libvdpau_nvidia.so.352.39
└── lib64
    ├── libcuda.so -> libcuda.so.352.39
    ├── libcuda.so.1 -> libcuda.so.352.39
    ├── libcuda.so.352.39
    ├── libGL.so.1 -> libGL.so.352.39
    ├── libGL.so.352.39
    ├── libnvcuvid.so.1 -> libnvcuvid.so.352.39
    ├── libnvcuvid.so.352.39
    ├── libnvidia-compiler.so.352.39
    ├── libnvidia-eglcore.so.352.39
    ├── libnvidia-encode.so.1 -> libnvidia-encode.so.352.39
    ├── libnvidia-encode.so.352.39
    ├── libnvidia-fbc.so.1 -> libnvidia-fbc.so.352.39
    ├── libnvidia-fbc.so.352.39
    ├── libnvidia-glcore.so.352.39
    ├── libnvidia-glsi.so.352.39
    ├── libnvidia-ifr.so.1 -> libnvidia-ifr.so.352.39
    ├── libnvidia-ifr.so.352.39
    ├── libnvidia-ml.so.1 -> libnvidia-ml.so.352.39
    ├── libnvidia-ml.so.352.39
    ├── libnvidia-opencl.so.1 -> libnvidia-opencl.so.352.39
    ├── libnvidia-opencl.so.352.39
    ├── libnvidia-tls.so.352.39
    ├── libvdpau_nvidia.so.1 -> libvdpau_nvidia.so.352.39
    └── libvdpau_nvidia.so.352.39

3 directories, 52 files

可以看到这个文件夹其实主要包含的是关于GPU显卡的一些库、包和一些必要的可执行文件。这些文件实际上也是从宿主机上由nvidia-docker-plugin收集拷贝到该文件夹中的，用以提供给容器，方便容器对于GPU的使用。

kubernetes与GPU

kubernetes1.3已经引入了GPU调度支持，但是目前是实验性质。

tensorflow服务

Serving Inception Model with TensorFlow Serving and Kubernetes中对于tensorflow服务与kubernetes结合使用的方式进行了介绍。

其基本的工作方式是首先根据已经训练好的模型，制作成可以对外提供服务的镜像inception_serving。而后使用该镜像创建rc，并对应建立service。

$ kubectl get rc
CONTROLLER             CONTAINER(S)          IMAGE(S)                              SELECTOR               REPLICAS   AGE
inception-controller   inception-container   gcr.io/tensorflow-serving/inception   worker=inception-pod   3          20s

$ kubectl get svc
NAME                CLUSTER_IP      EXTERNAL_IP      PORT(S)    SELECTOR               AGE
inception-service   10.15.242.244   146.148.88.232   9000/TCP   worker=inception-pod   3m

$ kubectl describe svc inception-service
Name:     inception-service
Namespace:    default
Labels:     <none>
Selector:   worker=inception-pod
Type:     LoadBalancer
IP:     10.15.242.244
LoadBalancer Ingress: 146.148.88.232
Port:     <unnamed> 9000/TCP
NodePort:   <unnamed> 32006/TCP
Endpoints:    10.12.2.4:9000,10.12.4.4:9000,10.12.4.5:9000
Session Affinity: None
Events:
  FirstSeen LastSeen  Count From      SubobjectPath Reason      Message
  ───────── ────────  ───── ────      ───────────── ──────      ───────
  4m    3m    2 {service-controller }     CreatingLoadBalancer  Creating load balancer
  3m    2m    2 {service-controller }     CreatedLoadBalancer   Created load balancer

用户请求直接通过EXTERNAL_IP(146.148.88.232:9000)进行服务访问。当用户有请求到来时，kubernetes将请求分发给10.12.2.4:9000,10.12.4.4:9000,10.12.4.5:9000之一的pod，然后由该pod上提供实际的服务，从而返回结果。

这一过程本质上来说同提供web服务(如tomcat的服务)等是没有多大区别的。kubernetes可以很好的支持。

参考资料

转载于:https://www.cnblogs.com/xuxinkun/p/5983633.html

weixin_30597269
关注
《TensorFlow技术解析与实战》第17章 TensorFlow和Kubernetes结合
rmyd01的博客
07-09 142
第17章　TensorFlow和Kubernetes结合 在AlphaGo中，每个实验使用1 000个节点，每个节点有4个GPU，也就是使用了4 000个GPU。在Siri中，每个实验2个节点，也就是使用了8个GPU。可想而知，AI研究的进行依赖于海量数据的计算，同时也离不开高性能计算资源的支持。 在第14章中我们已经讲解了TensorFlow的分布式原理以及部署方式。随着海量数据的出现和模型...
TensorFlow与Kubernetes/Docker结合的实践：构建高效的服务器
最新发布
TechABC的博客
09-22 23
通过将TensorFlow与Kubernetes/Docker结合使用，我们可以构建高效的服务器环境，实现模型训练和推理的可扩展性和灵活性。本文介绍了如何安装和配置Docker，创建TensorFlow Docker镜像，以及如何使用Kubernetes部署TensorFlow应用程序。接下来，我们将创建一个TensorFlow的Docker镜像，该镜像将包含我们的机器学习模型和相关依赖项。的容器，使用之前构建的TensorFlow Docker镜像，并将容器的端口映射到主机的端口5000。
浅尝TensorFlow on Kubernetes
weixin_33825683的博客
09-27 157
2019独角兽企业重金招聘Python工程师标准>>> ...
TensorFlow on Kubernetes的架构与实践
Docker的专栏
01-29 2024
这两年，Kubernetes在企业中的DevOps、微服务领域取得了出色的成绩，从2017年开始，将Kubernetes应用到HPC、AI等领域也成了技术热点。这里我给大家分享一下Kubernetes在AI中的落地经验，内容包括TensorFlow on Kubernetes的架构与实践，以及线上经验和坑。都是玩容器的老司机，都知道Kubernetes这两年非常火，截止目前在GitHub上31K+
TensorFlow on Kubernetes的架构与实践.docx
10-11
TensorFlow on Kubernetes的架构与实践.docx
谷歌Tensorflow与Kubernetes深度学习实践
这份资料详细介绍了如何在Kubernetes上实践谷歌的深度学习框架Tensorflow，并结合微服务架构的解决方案，为企业提供了一种现代化的AI开发和部署策略。通过深入理解这些技术，开发者和企业能够更好地利用现有资源，...
深度学习框架TensorFlowEnterprise实践:从零开始搭建企业级TensorFlow集群环境
AI天才研究院
07-31 1815
在自然语言处理、图像识别、自动驾驶、视频分析等领域，深度学习框架是现代机器学习的一个重要组成部分。近年来，大量研究人员将其应用到各种各样的计算机视觉、自然语言处理、自动驾驶、医疗健康等领域中。为了能够实现这些目标，深度学习框架对集群环境的支持已经成为一个亟待解决的问题。Tensorflow在国内的应用相对较少，国内很多公司并没有那么多资源进行深度学习的部署。
基于python与TensorFlow的电影推荐系统设计与实现
06-02
可能涉及到的技术有Apache Kafka进行数据流处理，Docker和Kubernetes进行容器化和集群管理。 在实际项目中，我们还需要考虑如何处理稀疏数据、冷启动问题（新用户或新电影的推荐）、动态更新推荐列表以及如何结合...
【k8s实战】 在离线项目混部 通过kubeflow（tf-operator）部署TensorFlow机器学习任务+prometheus/grafana监控资源使用全过程（最新 图文）
Eros1on的博客
08-02 1234
目录在离线混合部署概念最新版kubeflow部署TensorFlow部署二级目录三级目录 在离线混合部署概念 先举一个例子，众所周知的天猫双十一当天的流量非常之大，那么就需要成百上千台服务器构成一个超大集群来提供计算能力，但是双十一过去之后，集群资源就面临着浪费的局面。假设业务分为在线和离线两种模式：在线任务需要资源相对较少，但要求响应时间短；离线任务则不需要对任务进行迅速响应，但是计算量相对较大、占用资源多。那么我们应该怎么在K8S集群上完成这两种业务的部署、并且使得CPU利用率始终维持在一个比较高的水平
如何落地TensorFlow on Kubernetes
07-02
如何落地TensorFlow on Kubernetes，实际案例，好得很
基于docker安装tensorflow的完整步骤
09-30
TensorFlow 随着AlphaGo的胜利也火了起来。 下面这篇文章主要给大家介绍了关于基于docker安装tensorflow的相关资料，文中通过示例代码介绍的非常详细，需要的朋友们下面随着小编来一起学习学习吧。
Kubeflow：在Kubernetes上运行机器学习
qq_38478368的博客
06-12 340
Kubernetes 本来是一个用来管理无状态应用的容器平台，但是在近两年，有越来越多的公司用它来运行各种各样的工作负载，尤其是机器学习炼丹。各种 AI 公司或者互联网公司的 AI 部门都会尝试在 Kubernetes 上运行 TensorFlow、Caffe、MXNet 等等分布式学习的任务，这为 Kubernetes 带来了新的挑战。 首先，分布式的机器学习任务一般会涉及参数服务器（以下称为 PS）和工作节点（以下成为 worker）两种不同的工作类型。而且不同领域的学习任务对 PS 和 worker
如何落地TensorFlow on Kubernetes？
Go中国
12-13 3452
2017年10月21日，CNCF Meetup——Kubernetes架构师实践日活动于深圳成功举办，本次活动由七牛云和K8S技术社区联合主办，特邀vivo、平安科技共同参与，会议以 Kubernetes 技术落地过程中遇到的坑及其解决方案为主题，来自EasyStack、平安科技、vivo、七牛云的技术大咖进行了干货分享并传输实际技术和应用经验，吸引深圳地区250+技术爱好者火爆现场参与！会上，v
Kubernetes-在Kubernetes中部署Tensorflow集群
iov_aaron的专栏
06-04 2457
知识准备 1、kubernetes中的基本概念如deployment，statefulset，rc，svc，pod等； 2、tensorflow分布式集群。 Tensorflow架构简介 使用Tensorflow进行训练分为单机模式和分布式集群模式 单机模式的比较简单（略） 分布式模式主要包括如下几个角色： ps服务器：进行参数处理 worker服务器：进行梯度...
k8s+tensorflow+keras+jupyter部署
qq_33553493的博客
11-05 1154
参考链接：https://blog.csdn.net/weixin_40008349/article/details/81135847 一、使用docker命令拉取tensorFlow镜像 docker pull tensorflow/tensorflow:latest 二、使用docker run 命令 创建容器运行新下载的tensorflow镜像 docker run -it tensor...
标题九: 使用Kubernetes部署TensorFlow模型
AI天才研究院
08-30 498
作者：禅与计算机程序设计艺术 1.简介 随着容器技术的流行、云计算平台的迅速发展、开源社区的蓬勃发展以及AI领域的火热发展，基于容器技术开发的深度学习框架层出不穷。本文将向您介绍如何使用Kubernetes部署TensorFlow模型并进行实时预测，从而为客户提供更好的服务。 Kubern
在kubernetes 集群上运行分布式tensorflow训练
NG7711
09-06 6172
这几天参考google的参考代码，在kubernetes 集群上面进行分布式训练。因为之前主要不是做上层的，也没有接触过分布式系统，所以花了三天才跑起来。记录一下，如果有和我相同背景的同学可以参考一下。因为CSDN上传代码不方便，所以代码我都是放在github。这是整个过程的介绍和所用到的代码整个过程需要用到的第三方工具docker这个比较简单，把官网的tutorial看一下就能够满足这个任务的需求
在阿里云Kubernetes容器服务上打造TensorFlow实验室
maoreyou的博客
05-10 817
摘要： 利用Jupyter开发TensorFLow也是许多数据科学家的首选，但是如何能够快速从零搭建一套这样的环境，并且配置GPU的使用，同时支持最新的TensorFLow版本, 对于数据科学家来说既是复杂的，同时也是浪费精力的。简介TensorFLow是深度学习和机器学习最流行的开源框架，它最初是由Google研究团队开发的并致力于解决深度神经网络的机器学习研究，从2015年开源到现在得到了广泛...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值