- 博客(3)
- 收藏
- 关注
RSS订阅转载 [Scrapy]模拟登陆并获取Cookie值
1.分析登陆网址的方式 1.1使用Firefox或者Chrom浏览器F12，以Firefox登陆广工图书馆为例（该网址设计使用Cookie来记录登陆状态） 1.2登陆前 1.3登陆后 1.4根据登陆后可见POST方法的参数__EVENTTARGET:__EVENTARGUMENT:__VIEWSTATE:/wEPDwULLTE0MjY3MDAxNzcPZBYCZ
2017-03-07 15:48:56
3579
转载 Scrapy: 发送带Cookie的请求
Scrapy的Request类支持设置cookie属性，要在爬虫请求中带上cookie，可以重载Spider的start_requests方法。[python] view plain copy import sys from scrapy.spider import Spider from scrapy.selector import
2017-03-07 14:47:51
7299
转载 爬虫框架Scrapy之Item Pipeline
Item Pipeline当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：验证爬取的数据(检查item包含某些字段，比如说name字段)查
2017-03-07 14:45:09
587
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人