![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spider
dustyposa
github 地址:
https://github.com/Dustyposa
展开
-
scrapy入门(一)
开启你的第一个scrapy项目scrapy 初入门(二)1. 新建scrapy项目scrapy startproject projectname2. 新建spider(需要进入 创建后产生的spider文件夹)scrapy genspider spider_name spider_domain其余相关操作scrapy genspider -l 查看其他可用模板 新建spide...原创 2019-09-02 13:26:09 · 172 阅读 · 0 评论 -
scrapy入门(二)
hey 这是scrapy的第二篇,将记录Item的处理Scrapy初入门(一)1. 一次parse,获取多个item获取selector列表遍历列表,最后返回yield item def parse(self, response): base_xpath = response.css('div.app-tab li.first .list-in') # 获...原创 2019-09-02 13:32:14 · 126 阅读 · 0 评论 -
python 请求分析及多提取器 提取数据
豆瓣电影的多方法解析豆瓣top100本项目主要是数据提取的练习,提供了5种数据提取的方式.1. 分析网页 # 需要的数据请求地址分析2. 正则提取 # 正则提取所须数据3. Css选择器提取 # 利用BeautifulSoup4 进行提取4. Xpath选择器提取 # 利用lxml的etree模块进行xpath提取5. jQuery提取 # 有前端的知识的朋友应该很熟悉,利...原创 2019-09-03 09:52:59 · 903 阅读 · 0 评论 -
从requests请求重试到万能重试装饰器
从requests请求重试到万能重试装饰器重试,在编写代码的过程中,是一个很常见的需求。比如:请求重试(例如:超时)文件占用IO阻塞等待那么,我们如何编写重试的代码呢?本文将从请求重试开始,带大家从简单的超时重试,最后编写到万能错误重试。主要涉及内容:requests adapter函数装饰器类装饰器话不多说,start!因为我们需要从 requests 请求...原创 2019-09-18 17:43:59 · 1142 阅读 · 0 评论