2018年07月_xl.zhang

11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 Docker学习笔记（五）：创建私有仓库和仓库加速

1. Docker Hub仓库是集中存放镜像的地方。目前Docker官方仓库维护了一个公共仓库。大部分需求都可以通过在Docker Hub中直接下来镜像来实现。用户无需登录可以通过 docker search命令来查找官方仓库中的镜像，并利用docker pull 下载到本地，可以通过docker push 命令将本地镜像推送到docker hub。 2. 创建和使用私有仓...

2018-07-27 20:49:52 2754

原创 Docker学习笔记（四）：容器的常用操作

1. 创建容器Docker的容器十分轻量级，用户可以随时创建或删除容器。新建容器：docker create说明：使用docker create命令创建的容器处于停止状态，可以使用docker start命令启动它。新建并启动容器：docker run说明：等价于先执行docker create命令，再执行docker start命令。docker run...

2018-07-26 21:29:23 2265

原创 Docker学习笔记（三）：镜像的常用操作

1. 获取镜像命令：docker pull <域名>/<namespace>/<repo>:<tag>说明：镜像是Docker运行容器的前提。用户可以使用docker pull 命令从网络上下载镜像。对于镜像来说，如果不显式地指定tag,则默认会选择latest标签，即下载仓库中最新版本的镜像。 2. 查看镜像列表...

2018-07-25 21:50:25 1769

原创 Docker学习笔记（二）：docker的安装和配置

环境介绍：操作系统：64bit CentOS7，Linux内核版本最低为3.10（操作 uname -r 查看当前版本）docker版本：17.05.0-ce 安装步骤：1. 通过yum 方式安装docker：第一步：更新yum源sudo yum update第二步：增加docker的yum源，输入命令：sudo tee /etc/yum.repos.d/d...

2018-07-25 19:44:04 2180

原创 Docker学习笔记（一）：初识docker

1. 什么是 dockerDocker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。Docker 自开源后受到广泛的关注和讨论，以至于 dotCloud 公司后来都改名为 Docker...

2018-07-24 20:24:32 1692

原创 Ray Tune Hyperparameter Optimization Framework

Ray Tune是一个可扩展的超参数优化框架，用于强化学习和深度学习。从在单台计算机上运行一个实验到使用高效搜索算法在大型集群上运行，而无需更改代码。本篇博客中所提及的函数。一、简单开始首先需要安装Ray，使用命令 pip install ray简单示例：import rayimport ray.tune as tuneray.init()tune.regis...

2018-07-24 09:50:21 5097

原创 Ray Tune相关API介绍

1. 注册可训练的函数或类ray.tune.register_trainable(name, trainable)参数： name (str) - 注册的方法或函数名。 trainable (obj) - 函数或tune.Trainable类。函数必须采用(config, status_reporter)作为参数，并且在注册的过程中自动转换为类。 2. 构造ex...

2018-07-23 22:18:04 3374

原创 Using Ray with TensorFlow

本文（英版）档介绍了Ray中结合TensorFlow使用的最佳实践。要查看使用TensorFlow的更多相关示例，请查看A3C，ResNet，Policy Gradients，LBFGS 如果在分布式环境中训练深层网络，则可能需要在进程（或计算机）之间运送深层网络。例如，你可能在一台计算机上更新模型，然后使用该模型在另一台计算机上计算梯度。但是，运输模型并不总是顺利的。例...

2018-07-18 21:26:44 4263

原创 Fast Python Serialization with Ray and Apache Arrow

这篇文章详细阐述了Ray和Apache Arrow之间的集成。解决的主要问题是数据序列化。查阅Wikipedia，序列化指：将数据结构或对象状态转换为可以存储...或传输的格式的过程...以及稍后重建（可能在不同的计算机环境中）为什么需要上述的转换？当你创建一个Python对象时，它可能指向其他Python对象，并且这些对象都分配在不同的内存区域中，并且...

2018-07-15 11:50:12 4699

原创 Ubuntu 16.04升级python3.6及解决终端打不开的bug

Ubuntu 16.04 默认安装python3的版本为python3.5，而在一些场景下我们需要用到python3.6，于是本人尝试将python3.5升级为python3.6，但期间出现了界面模式下终端打不开的现象，查阅资料后，得以解决。下面是升级3.6版本和解决bug的步骤。1. 配置软件仓库 sudo add-apt-repository ppa:jonathonf/python-3...

2018-07-03 22:14:10 8975 10