- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 TIME_WAIT状态存在的意义
什么时候会TIME_WAITTCP在关闭的时候有个四次挥手的过程，主动关闭方在四次挥手的最后一个ACK发送之后会变成TIME_WAIT状态。主动关闭方跟握手不同，挥手可以由客户端发起，也可以是服务端发起。发起关闭的一端我们称之为主动关闭方，另一端称之为被动关闭方。四次挥手主动关闭方会发送一个FIN给被动关闭方，表示数据已经发送完毕。被动关闭方接收到FIN，响应一个A...
2018-04-27 19:30:53
10115
原创 pyspider源码简析
pyspider优势所在pyspider非常适合那种很小很杂的爬虫的管理，比如有100个小网站，规则又各不相同，我要获取他的一些很简单的内容，如标题，所有的图片，正文内容。他分为几个模块：scheduler，fetcher，processor，resultworker以及一个ui，前三者各自分离，用消息队列连接，因此很容易做成分布式（或者说设计之初就是为了分布式的）。scheduler...
2018-04-25 10:58:45
1512
原创 werkzeug中 LocalProxy作用的一点感悟
这里的LocalProxy是指 werkzeug.local中的一个类class werkzeug.local.LocalProxy(*local*, *name=None*)[]Acts as a proxy for a werkzeug local. Forwards all operations to a proxied object. The only operations not sup
2018-04-20 19:43:50
2548
原创 python随笔之SocketServer
从SocketServer 讲起 +------------+ | BaseServer | +------------+ | v +-----------+ +------------------+ | TCPServer |------->| UnixStreamServer | +-------
2018-04-20 19:35:10
230
原创 python随笔之从__dict__说起
先上一段代码，来源是github。class Borg(object): __shared_state = {} def __init__(self): self.__dict__ = self.__shared_state self.state = 'Init' def __str__(self): return self.sta
2018-04-20 19:34:28
1483
原创 优雅关闭以及机器kubernetes pods
优雅启动很常见的一个场景，一个服务刚启动，可能会有一堆东西要加载（比如我这边需要读数据库中一堆东西）需要一些时间，而这段时间里，我不希望kubernetes 把请求打到这些还没初始化的pod上。kubernetes提供了一个叫探针的东西，可以用来检测pod是否就绪，只有就绪的情况才会把请求打过来，如果非就绪状态，这些pod会从service的load balancer中暂时移除。探针可以是一个com
2018-04-20 19:33:16
5317
原创 kafka-python 获取topic lag值
说真，这个问题看上去很简单，但“得益”与kafka-python神奇的文档，真的不算简单，反正我是搜了半天还看了半天源码。直接上代码吧from kafka import SimpleClient, KafkaConsumerfrom kafka.common import OffsetRequestPayload, TopicPartitiondef get_topic_offset(broker
2018-04-20 19:32:32
4682
原创 一种神奇的批量创建类的方法--参照namedtuple
def namedtuple(typename, field_names, verbose=False, rename=False): """Returns a new subclass of tuple with named fields.namedtuple是一个很神奇的东西，在看kafka-python的时候看到了很多地方用到了这玩意。用法也非常简单from collections imp
2018-04-20 19:31:54
382
原创 python随笔 Mock vs MagicMock
首先，从现象上看，Mock有的MagicMock都有，而MagicMock多了一些magic方法。_mock = mock.Mock()_magicmock = mock.MagicMock()mock.__iter__ # error_magicmock.__iter__ #<MagicMock name='mock.__iter__' id='4458398224'>而且MagicMock
2018-04-20 19:31:09
2248
原创 timelion一些基本表达式
一开始看到Kibana中自带了个叫timelion的东西，感觉很神奇，为什么有了kibana之前的一些展现数据的图了（如柱状图，折线图等）还需要timelion嘞？ Timelion is a time series data visualizer that enables you to combine totally independent data sources within a sing
2018-04-20 19:30:16
9116
原创 phash计算png图片指纹返回总为0
今天在用phash做线上封面图去重，之前自己开发机mac上有个用port install phash安装的phash，源码是phash.org中提供的c++版本的，没遇到啥问题。今天打算用docker包一下放服务器上跑，发现了个有趣的现象，所有的png图片计算出来的指纹都是0。In [214]: lib = ctypes.CDLL(find_library('pHash'), use_errno=T
2018-04-20 19:28:31
439
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人