python
fineTu
不断归零
展开
-
对照java和spring理解python中单例模式的装饰器方法
python的对象管理机制与java思路不同,刚刚接触,对python的对象管理和反射(java才有)不太清楚。最近遇到了一个问题:在一个任务队列末端的worker不断监控队列中的消息,并执行相应的任务,每次执行时都会调用一个数据库交互工具类,由于不像spring那样是ioc的,所以每次执行任务,这个工具类都会重新实例化一次而旧的类不知为什么并没有因为任务的完成而被回收,因此导致了内存不断增长,最原创 2016-04-08 12:21:14 · 1663 阅读 · 0 评论 -
zorba3.0的编译安装与python binding的使用
自己的项目必须用一个全功能的xquery引擎,并要在python中调用,找了很久只找到了zorba,但是xquery本身非常冷门,zorba也是找不到用武之地,活跃度非常小,导致文档的结构与排版非常奇葩而且文档和源码有两处错误,再加上zorba本身需要很多的第三方包支持,我第一次尝试编译zorba的时候基本毫无头绪。但是没有办法,市面上的xquery就它一个,非他不可,所以只能头硬死磕,终于在解决原创 2017-01-09 15:20:14 · 957 阅读 · 0 评论 -
scrapy与redis结合实现服务化的分布式爬虫
很多场景下应该都有这样的需求:需要一个组件,向它输入一组url,要求返回这些url请求后的结果,当然这些结果通常需要一些必要的解析、规范化和结构化(比如json)。有的场景不要求系统有很高的吞吐量,有时则需要系统处理大量的请求。这时候就需要构建一个可扩展的爬虫服务,在没有任务的时候等待任务到来,一旦有任务到达就可以立即响应,并且在吞吐量要求很高时可以方便地横向扩展,避免遇到带宽、网络延迟等瓶颈。这原创 2017-02-10 16:05:05 · 4894 阅读 · 0 评论