爬虫Scrapy
chainbees
每一个不曾起舞的日子,都是对生命的辜负
展开
-
python中requests库使用方法详解
1、标准的restful接口调用 (1)requests.post方法调三方接口(用的是data) r = requests.post(url + 'company/add_friend/', data={'id': zid, 'com_key': com_key}) # 这一步将返回值转成json key = json.loads(r.text) (2...原创 2019-11-06 17:19:55 · 713 阅读 · 0 评论 -
xpath的用法(实例详解)
1、xpath基本语法: article 选取所有article元素的所有子节点 /article 选取根元素article article/a 选取所有属于article的子元素的a元素 //div 选取所有div子元素(不论出现在文档任何地方) article//div 选取所有属于article元素的后代的div元素,不管它出现在artic...原创 2018-08-16 16:43:39 · 3049 阅读 · 0 评论 -
Scrapy新建一个爬虫项目及环境搭建
Scrapy目录结构: ArticleSpider └── ├── ArticleSpider │ ├── __init__.py │ ├── items.py │ ├── middlewares.py │ ├── pipelines.py │ ├── settings.py │ └── spiders (该目录...原创 2018-08-16 17:55:25 · 357 阅读 · 0 评论