![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 76
95CACA
屌丝程序员一枚
展开
-
简易版celery的实现
简易版celery的实现最近学习了下,celery源码,看了一点点皮毛后,自己动手写了个简易的celery,通过redis作为broker,没有复杂的路由匹配规则,队列和任务之间一个直接匹配的简易规则。这里对项目简单的记录下。项目目录结构接下来挨个介绍下这几个文件:simple 是celery类所在位置,具体实现了celery的启动,加载配置文件,任务装饰器;utils 下base是...原创 2019-03-29 16:44:24 · 643 阅读 · 1 评论 -
不可变和可hash的关系
不可变值类型都是不可变的:string 、int、元组可hash1、在对象的生命周期内,他的散列值是不变的,如果这种对象相等,他们hash值一定是一样的,可hash2、原子不可变(注:例如元组 成员中都是不可变数据类型)的数据类型可hash结论:1、不可变的不一定可hash ,例如 元组 (‘a’,[1,2]) 虽然元组是不可变的数据类型,但是不满足原子不可变性2、原子都是不可变的不...原创 2019-02-17 21:50:38 · 1107 阅读 · 1 评论 -
django haystack一次使用总结
记一次django_haystack的坑使用的是 whoosh 和jieba :pip install whooshpip install jieba首先在django,导入我们的haystack的应用INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib....原创 2018-12-08 16:22:55 · 5703 阅读 · 5 评论 -
备忘django_session 表被自己删除了
备忘django_session 表被自己删除了python manage.py migrate sessions重新执行下,如果这样还是没有生成新的django_session 就删除了session app下的迁移文件,执行 python manage.py makemigrations sessions,之后在执行上面的迁移操作...原创 2018-12-01 14:01:53 · 1238 阅读 · 0 评论 -
werkzeug 中localstack的理解
首先最近在学习flask的时候,对flask上下文的原理不是太清楚,关于localstack的实现逻辑不是很清楚,于是各种百度了解了下,这里写过博客备忘下,首先在理解localstack之前,我们要先了解下python自带的thread.local。thread.local(代码都是伪代码实现,主要是说明下逻辑)假如我们现在线程里面实现一个循环,肯定是在线程里面定义一个局部变量a,然后对a进行...原创 2018-09-21 10:58:25 · 1125 阅读 · 0 评论 -
python 爬虫实践(分布式部署)
简单介绍celery分布式框架是我接触的第一个分布式框架,现学现卖,将我上一篇博客介绍的爬虫,通过celery实现分布式部署redis部署到外网因为我是采用redis做celery的消息中间件,而redis默认是本地访问的,所以为了可以多台电脑上我们需要先配置redis,是redis可以通过web网路访问;第一步,修改配置文件redis.conf, 如果在windows下就是...原创 2018-08-30 21:37:24 · 1792 阅读 · 0 评论 -
python 爬虫实践 (爬取链家成交房源信息和价格)
简单介绍简单介绍下,我们需要用到的技术,python 版本是用的pyhon3,系统环境是linux,开发工具是vscode;工具包:request 爬取页面数据,然后redis 实现数据缓存,lxml 实现页面数据的分析,提取我们想要的数据,然后多线程和多进程提升爬取速度,最后,通过celery 框架实现分布式爬取,并实际部署下,下面就按这个逻辑顺序,进行介绍;request爬取页面数据...原创 2018-08-30 18:56:01 · 22457 阅读 · 0 评论 -
numpy transpose 和 swapaxes两种转置方法
transpose:已3维举例, 0 代表 x 轴,1 代表 y 轴,2 代表 z 轴, transpose(0,1,2) 可以理解维 tanspose(x,y,z)x,y, z 的顺序与数组原有维度没有变化,所以得到的结果也就是原数组不变,transpose(1,0,2) = transpose(y,x,z) z轴的位置没有变化,x 和 y 轴的互换,同理 transpose(0,...原创 2018-08-05 10:53:09 · 1551 阅读 · 0 评论