关闭

分享centos+python+keras+tensorflow环境的docker镜像

欢迎加入qq群472149402一起成长!Dockerfile自己做的镜像,包含内容是: * centos的操作系统 * 东8区 * locale是zh_CN.utf8 * yum安装了bzip2和gcc * anaconda3.4 + python3 * python的类库有keras2.0.8和tensorflow1.3.0Dockerfile如下:FROM centos...
阅读(11) 评论(0)

Dockerfile中如何自动回答标准输入的问题

前言大家在用docker build制作自己的image的時候,都会用RUN命令来执行一些操作来安装某些必须的软件。而一些软件的安装过程中会需要用户来输入yes/no或者y/n来确定一些东西后才能进入到下一步的安装。这个在Dockerfile可以这样解决。如果是用yum来安装的场合RUN yum install -y xxx-y参数可以跳过软件的询问,相当于回答了yes。如果是安装脚本的场合比如我们...
阅读(24) 评论(0)

docker swarm如何在指定的node上运行指定的容器

描述问题比如我们有worker1,worker2,worker3三个docker host另外加一个manager1(它是swarm的master)来管理它们。如果在manager1上直接docker service create某一个容器的话,比如nginx容器,那么master会来决定挑哪一个node作为nginx容器的运行的host。如果我要nginx容器只跑在worker1上面的话,应该怎么...
阅读(45) 评论(0)

docker国内镜像设置

linux系统如果存在/etc/docker/目录,那么恭喜,很简单,在该目录下添加一个叫做daemon.json的文件。内容如下: { “registry-mirrors”: [“https://registry.docker-cn.com“] }然后重新启动docker daemon服务即可。mac系统mac系统有docker设置界面。在右上角docker小鲸鱼图标的Preferenc...
阅读(60) 评论(0)

搭建Docker Swarm集群实战(三)(swarm mode)

前言docker在1.12版本之后,把swarm的功能内置到docker engine本身,因此之前使用consul等第三方服务发现和键值服务的方法就可以作古了。这篇就是用docker自带的swarm mode来进行swarm的集群搭建。这篇实操的主要参考是docker官网的教程。架构总共三台虚拟机,每一台虚拟机上都有docker daemon。 * 1号机manager1,IP=192.168....
阅读(76) 评论(0)

搭建Docker Swarm集群实战(二)(服务发现使用consul)

架构图 consul服务(1号机上) 1个swarm的master(2号机上) 2个swarm的node(3号机,4号机上) 1,2,3,4号机都是一个局域网LAN内部(原因是他们的eth1设备都和宿主机进行了virtual box的host-only)。 1号机在该网段内IP:192.168.99.101 2号机在该网段内IP:192.168.99.102 3号机在该网段内IP:192.168.9...
阅读(52) 评论(0)

搭建Docker Swarm集群实战(一)(服务发现使用consul)

前言 Docker Swarm是docker的原生的集群解决方案。它可以让你使用一些docker的工具来统一管理一池子的docker host。 首先Docker Swarm依赖于一个Manager(其实就是Swarm Master)。Manager管理和调度所有集群上的container。而这些被管理的container就可以分布在集群的各个Docker Host中(我们称之为Swarm N...
阅读(80) 评论(0)

aws命令行访问s3

假设aws命令行已经安装可以使用aws –version来确认。如果没有安装,可以参考官方文档:http://docs.aws.amazon.com/cli/latest/userguide/installing.html在aws的网站后台定义一个IAM用户和密钥该账号必须有访问s3的权限。先执行aws configure$ aws configure AWS Access Key ID [None...
阅读(244) 评论(0)

自学nginx(五): 使用fluentd搬运log到mysql

前言本篇介绍如何使用fluentd把nginx的log日志读取,并且解析成为一个一个mysql的字段,最后存储到mysql的数据库中。环境我用的是aws的ec2,操作系统是amazon定制的Amazon Linux AMI安装fluentd使用root用户curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh...
阅读(87) 评论(0)

自学nginx(四): 禁止从某国家的访问

下载ngx_http_geoip_module.so由于nginx安装的时候,geoip模块是dynamic。用nginx -V可以看到。 所以需要另外下载so文件。sudo yum install nginx-mod-http-geoip执行完成后会在/usr/lib64/nginx/modules/ngx_http_geoip_module.so有这个文件。 并且/usr/share/ngi...
阅读(66) 评论(0)

keras实践(一): multi-label神经网络

前沿本篇记录一下自己项目中用到的keras相关的部分。由于本项目既有涉及multi-class(多类分类),也有涉及multi-label(多标记分类)的部分,multi-class分类网上已经很多相关的文章了。这里就说一说multi-label的搭建网络的部分。之后如果有时间的时候,再说一说cross validation(交叉验证)和在epoch的callback函数中处理一些多标签度量metr...
阅读(140) 评论(0)

自学nginx(三): nginx + gunicorn的反向代理

前言正好一个项目是python的flask框架开发的,部署的时候就考虑用gunicorn作为应用服务器,然后再用nginx的反向代理套在应用服务器的外层。架构图每一台server内部,都安装nginx,以及部署gunicorn的python flask应用程序。nginx和gunicorn之间用unix local socket机制进行连接。所以gunicorn启动flask程序的时候,请配置成...
阅读(58) 评论(0)

从混淆矩阵看各种度量

前言 机器学习中各种度量很容易搞晕学习者的头脑。但是如果把他们和混淆矩阵一起来看的话,会容易理解很多。 我也是经常接触,所以有一些自己的感悟,记录下来。 混淆矩阵(confusion matrix) 我理解上的混淆矩阵就是一个分类器对于正反例(假设是二分类,多分类也类似)的混淆程度。 我有见过两种不同混淆矩阵,主要区别是对于真实的类别和猜测的类别的位置互换。其实本质上没有大区别的,看...
阅读(45) 评论(1)

自学nginx(二): nginx的配置文件解读

概要 上篇说明了nginx的安装,本篇记录一下安装之后第一需要关心的nginx配置文件,外加自己的一些理解。同样阅读时间差不多5分钟。 nginx版本 nginx version: nginx/1.10.3 built by gcc 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) built with OpenSSL 1.0.1k-fips 8 Jan...
阅读(83) 评论(0)

自学nginx(一): nginx的快速安裝

开篇一直精力都放在开发上面,对于运维方面没有很好的总结过,趁还有一点动力,把nginx的一些基本内容巩固复习一下。每一篇尽可能有一个主题,并且内容消化控制在5分钟。另外一点很重要的是,博客的所有内容都是我亲自操作的结果,也会夹杂我的亲身的感悟和体会,尽可能是所有的操作可以按照步骤还原。...
阅读(69) 评论(0)
    个人资料
    • 访问:1136次
    • 积分:153
    • 等级:
    • 排名:千里之外
    • 原创:15篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章分类
    文章存档
    最新评论