搭建python数据分析平台

基本结构其实没什么高深的东西,无非是常用的那一套:pandas, numpy, matplotlib…但是为了更方便使用,加持了 jupyter notebook(即以前的ipython notebook)……又为了更方便使用,前端加了nginx或apache反代……双为了更安全,加持了Let’s Encrypt的HTTPS...
阅读(168) 评论(0)

用Docker+ELK集中处理日志

需求手头有几个服务器的日志需要处理,数据量也不是很大,但是又不想在每个服务器上都装一套ELK,毕竟这货还是挺笨重的。另外,ELK这堆东西依赖也挺多,而且还是用JAVA的,我才不想为了装这个把系统搞得乱七八糟,所以必须跑在docker里。当然,也不可能在每台服务器上都装个docker,毕竟这货也不是省油的灯。于是有这样的方案。...
阅读(430) 评论(0)

一个Redis消息队列实现

对前文所介绍的Redis Cache作了一点简单的扩展,增加了消息队列功能。...
阅读(437) 评论(0)

一个Redis Cache实现

这次的目标是需要实现一个比较通用的cache,支持各种数据类型,有超时更新机制,超时更新需要有锁...
阅读(1883) 评论(0)

在容器中运行Jenkins部署主机中的docker应用

如何让一个跑在container里的Jenkins把应用部署到host环境上?...
阅读(1296) 评论(0)

解决多进程中APScheduler重复运行的问题

问题在一个python web应用中需要定时执行一些任务,所以用了APScheduler这个库。又因为是用flask这个web框架,所以用了flask-apscheduler这个插件(本质上与直接用APScheduler一样,这里不作区分)。在开发中直接测试运行是没有问题的,但是用gunicorn部署以后发生了重复运行的问题:每个任务在时间到的时刻会同时执行好几遍。注意了一下重复的数量,恰恰是gun...
阅读(1587) 评论(2)

HTTPS配置全记录

常见的部署环境和条件有以下几种情况组合: Apache+自签名证书 Apache+免费或商业证书 Nginx+自签名证书 Nginx+免费或商业证书 免费证书和商业证书本质上是一样的...
阅读(1742) 评论(1)

FreeBSD升级失败的处理

升级几个FreeBSD系统过程中出现的问题及其处理...
阅读(836) 评论(0)

Mac OS X中virtualenv里python shell无法使用光标键问题的解决

最近碰到一个奇葩问题,在系统python shell里使用光标是一切正常的,但是到了virtualenv里就不行了,变成各种转义符,不能正常移动光标。搜了半天,都说跟readline有关,建议重新编译python,可是为什么系统的python是正常的呢?而且我是用homebrew安装的,应该也不会有问题啊。试过很多方法,比如重装readline或virtualenv什么的,都不能解决。...
阅读(1217) 评论(0)

docker在systemd下的配置问题

问题说明最近在debian8上装了个docker,但是因为存储空间的问题,需要把docker的存放路径改一下。按照官方文档的说法,只要修改/etc/default/docker里的DOCKER_OPTS,加上-g参数即可:DOCKER_OPTS="-g /path/to/dockerdata" 但是这样改过以后重启docker,发现docker仍然在使用默认的/var/lib/docker...
阅读(1322) 评论(0)

Let's HTTPS

有了Let's Encrypt和Nginx的SNI配置,让我们像用HTTP一样去用HTTPS吧...
阅读(1429) 评论(0)

快速文件hash

最近打算把家里服务器上的文件理一下,想把重复的文件找出来,虽然我已经用了ZFS的dedup,实际占用空间并不会重复,但是还是觉得有必要理一下……写个程序扫描一遍并不复杂,但是要判断文件是不是重复就比较麻烦,可靠的方法当然是做全文件HASH,但是对于T级的硬盘来说,这样效率太低了,所以写了一段小代码来做一个快速的HASH。def get_filemd5(fullpath, filename):...
阅读(1260) 评论(0)

支付宝接口编码不规范问题

支付宝平台接口使用了不规范的方式,导致flask不能正常处理的问题解决。...
阅读(1369) 评论(0)

docker实践入门之六

最后一篇来举个栗子。样本项目一个基于bottle的python web项目依赖mako暂时只考虑部署一个版本的例子项目有以下内容:+-appname.py +-config.json +-requirements.txt +-views +-index.htmlrequirements.txt的内容为:bottle makovirtualenv部署方式传统的python应用部署方式一般会推荐用...
阅读(1432) 评论(0)

docker实践入门之五

image的派生上面这个例子 有一个问题就是,如果应用程序修改了,就需要重新build一次,问题是重build的时候需要把前面一堆的命令都跑一遍,特别是安装软件那些还是挺慢 的,而且是不必要的重复工作,实际上我们只是修改了应用程序而已,所以更机智的办法是把这个image分成两个image,一个是python3基础环 境,一个是应用程序image。先来python3环境的Dockerfile:FRO...
阅读(4061) 评论(0)
267条 共18页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1642223次
    • 积分:19308
    • 等级:
    • 排名:第486名
    • 原创:267篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1709条
    文章存档
    最新评论
    2. 非技术BLOG