博客迁移通知

起因:公司有个项目需要批量检查多个IP的网络质量,其中一个指标是丢包率,当然用ping是最合适的方法,但是使用ping命令性能太差,Golang又没有批量ping的包开发:目前github只有sparrc写的ping库,不过他的库不支持批量探测多个IP https://github.com/sp...

2018-01-02 14:40:07

阅读数:190

评论数:0

优雅的终止docker容器

起因:本文受到参考资料1的启发 我们线上的服务有不少都是部署在docker中,部署涉及的机器多大几十台, 服务发布时,要求前一个版本的容器必须优雅的退出。 docker容器中的进程是一个任务消费者。不断得从任务队列中取任务,然后进行执行(执行时间较长)假定docker容器的name为test...

2017-10-10 15:52:34

阅读数:340

评论数:0

Elasticsearch经验总结(持续补充)

重要 我的博客从今天起开始陆续迁移到 http://vearne.cc 敬请关注 本文新地址 http://vearne.cc/archives/65 起因: ES在笔者所在的公司使用也有3年多了,集群的规模达到上百台,期间也有很多的经验,我这里总结出来分享给大家,技术水平有限...

2017-03-18 11:50:19

阅读数:1074

评论数:0

golang中可变长参数的使用

起因: 使用的Redis的时候,需要使用LPUSH 往一个key中一次写入多个value 我使用的是garyburd/redigo 这个库 函数定义如下// Do sends a command to the server and returns the received reply. fun...

2017-12-06 12:34:14

阅读数:191

评论数:0

业务日志收集方案

起因:我们线上的业务通常会部署到10几台或者几十台机器上,线上的日志如果用salt执行命令远程的grep已经是越来越不方便了,所以我们决定对日志进行统一收集,管理1. 选择方案我们业务日志不算特别的多,因此不想方案过于复杂,并且公司内部已经有ES和kafaka集群 因此可以选方案有 1) r...

2017-11-09 13:29:55

阅读数:206

评论数:0

rinetd 在生产环境要谨慎使用

起因:购买了阿里云的redis节点,但是默认阿里云不提供公网IP,所以我在一台阿里云的机器启动了rinetd,做端口的转发服务,开始一切正常,一段时间以后,随着并发力度加大。我们发现redis连不上了,提示Connection reset by peer排查1. 排查Redis为什么会这样,首先我...

2017-09-29 14:01:03

阅读数:358

评论数:2

用grequests实现并发http请求

重要 我的博客从今天起开始陆续迁移到 http://vearne.cc 敬请关注 本文地址: http://vearne.cc/archives/100 起因 要用http请求探测服务的有效性,多进程,多线程,感觉似乎没有必要,看看有没有协程的方案 重要 我的博客从今天起...

2017-06-22 10:50:07

阅读数:2925

评论数:0

在一个Python脚本中加载2种不同版本的库

起因: 从ES集群A往ES集群B导数,然后比对2个ES的数据差异,逐个ID比对。由于ES集群A的版本是1.4.x,ES集群B的版本是5.3.x,所以无法使用同一个ES client包1. 加载不同版本的client包对比的过程是,取相同发布时间区间的文章ID,然后比对id的差异 伪码如下:es_...

2017-06-13 11:12:43

阅读数:562

评论数:0

kafka查看队列的消费情况

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group $group --topic $topic --zookeeper $zk_host:2181

2017-05-15 12:59:57

阅读数:5364

评论数:0

算法题(6)

题目:已知一个矩阵 matrix = [ ['A', 'P', 'H', 'S'], ['U', 'L', 'O', 'A'], ['O', 'M', 'L', 'K'], ['F', 'B', 'I', 'R'], ]在矩阵...

2017-03-10 00:44:29

阅读数:912

评论数:0

requests 库的另类用法(stream)

重要 我的博客从今天起开始陆续迁移到 http://vearne.cc 敬请关注 本文链接 http://vearne.cc/archives/120 起因: 同事让我帮他抓取一批URL,并获取对应URL的标签中的文字,忽略对应URL网站的封禁问题,这个任务并不是一个特别麻烦...

2017-01-23 13:22:05

阅读数:878

评论数:0

rtorrent初探--利用好你的云主机

重要 我的博客从今天起开始陆续迁移到 http://vearne.cc/archives/122 敬请关注 起因: 有了云主机以后,我常常想能够用它来做什么,当然可以用来挂网站,然后还能做什么,我想到可以把一些下载任务(BT)直接放到云主机来做,经过调研我选择了rtorrent。 ...

2016-12-18 18:57:09

阅读数:2700

评论数:0

Percona监控工具初探

重要 我的博客从今天起开始陆续迁移到 http://vearne.cc 本文新地址: http://vearne.cc/archives/124 敬请关注 起因: 一直找不到合适的MySQL监控工具,正好听同事无意中说起,Percona在2016年4月发布了一个监控套件,可以同...

2016-11-23 14:03:06

阅读数:4978

评论数:4

peewee 对象clone函数

起因: 我需要得到peewee对象的clone对象,写个简单的小程序def clone(instance): obj = instance.__class__() # print a._meta.fields data = getattr(instance, "...

2016-10-20 14:23:21

阅读数:283

评论数:0

docker 常用命令(持续更新)

删除image docker rmi myapp/base 给image 打tag docker tag 4424b58cae58 myapp/base

2016-08-26 15:33:38

阅读数:516

评论数:0

kingshard初探

起因:之前的相当长时间一直在寻找mysql的分布式解决方案,一直没有特别理想的答案,有同事给推荐了kingshard,所以决定一探究竟。

2016-08-15 08:49:08

阅读数:2536

评论数:0

gitlab安装

重要 我的博客从今天起开始陆续迁移到 http://vearne.cc 敬请关注 文章新地址 http://vearne.cc/archives/136 安装gitlab社区版 参考资料: 非常重要 https://about.gitlab.com/downloads/#ubunt...

2016-08-02 22:46:18

阅读数:1173

评论数:0

算法题(5)

题目: 已知一条线段从0 到 10000,给定一个L线段(x,y), 找出所有包含线段L线段 如下图所示,假定 (x, y) 为 (2,4) , 所有能否覆盖L线段的组合为 (0, 4) (0, 5) (0, 6) (1, 4) (1, 5) (1, 6) (2, 4) (2, 5) (2...

2016-08-01 14:04:07

阅读数:325

评论数:0

算法题(4)

题目: 有十个球编号分别为 0 ~ n - 1 ,放在袋中,任意抓2个,求所有可能的情况def choice2(n): ll = [] for i in range(n): for j in range(i+1, n): ll.append(...

2016-07-29 09:42:42

阅读数:201

评论数:0

《人月神话》读书总结

人月神话的说明,为落后项目增加人手,会导致额外的任务分配开销,协作开发的沟通成本。新分配的人员还需要重新熟悉项目。这就像5核CPU,并不能是5倍的单核CPU的性能。(资源竞争,互斥等等引起的) 同样有2年经验且受同样培训的情况下,优秀的专业程序员可以是较差程序员的10倍。 概念完整性是系统设计中最...

2016-07-25 14:23:18

阅读数:214

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭