![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
doingSthing
这个作者很懒,什么都没留下…
展开
-
scrapy学习第三篇:创建spider_redis配置文件
#启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS:这玩意儿2.X的可以用。3.X的不...原创 2018-10-31 23:29:57 · 257 阅读 · 0 评论 -
scrapy学习第四篇:windows下安装scrapyd
首先安装 pip install scrapyd来进行管理scrapy项目 然后安装scrapyd_client来进行部署scrapy项目至scrapyd中 在scrapy项目中修改scrapy.cfg文件 [deploy] url = http://localhost:6800/addversion.json 然后cmd启动scrapyd 接着进入项目内部进行部署scrapyd-de...原创 2018-11-01 00:08:16 · 675 阅读 · 0 评论 -
scrapy学习第一篇:环境安装
pip install setuptools pip install lxml pip install pyOpenssl pip install scrapy 在执行安装scrapy的时候报如下错误 于是离线安装,win32位的这里安装,win64位的这里安装,执行pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl 然后安装pip...原创 2018-10-27 14:38:23 · 184 阅读 · 0 评论 -
scrapy学习第二篇:创建spider
使用命令scrapy startproject test1来创建第一个scrapy工程 cd test1 然后使用scrapy genspider -l 查看所有spider的模板 然后选择basic 模板创建一个spider: scrapy genspider -t basic first www.whu.edu.cn 然后进入spider目录编辑first.py文件,重写parse方法...原创 2018-10-27 15:27:17 · 419 阅读 · 0 评论 -
jupyter学习第一篇:环境配置
当前环境是win7 x32: 在开始菜单中jupyter快捷方式右键---属性---目标位置: 将路径修改为自己的workspace即可。原创 2018-11-01 23:20:12 · 314 阅读 · 0 评论 -
jupyter学习第二篇:常用的快捷键
a: 代表在前一行插入 b: 代表在后一行插入 dd:代表删除当前行 ctrl+enter:运行 shift+enter:运行并移至下一行,如果下一行不存在,则自动创建下一行且聚焦 alt+enter:运行并插入一行且聚焦 tab:自动补全 shift+tab:查看方法...原创 2018-11-01 23:26:24 · 267 阅读 · 1 评论 -
Numpy学习第一篇:helloworld图片处理
import numpy as np import matplotlib.pyplot as plt img = plt.imread("D:/用户目录/我的图片/timg27.jpg") img2 = img - 230 plt.imshow(img2)原创 2018-11-02 00:10:31 · 253 阅读 · 0 评论 -
Numpy学习第二篇:api
arr = np.array(list('abcdefg')) arr = np.ones(shape=(100,100,3), dtype=int) 其中:str>float>int arr = np.zeros((3,4)) arr = np.full(shape=(2,2), fill_value=5) arr1 = np.full_like(a=arr, fill_valu...原创 2018-11-02 01:25:40 · 127 阅读 · 0 评论