![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spider
文章平均质量分 57
windmillsign
这个作者很懒,什么都没留下…
展开
-
scrapy+selenium爬取需要登录需要验证码的网站
scrapy+selenium爬取需要登录需要验证码的网站站在巨人的肩膀上采取了大神的思路,加上自己项目的需求点击打开大神文章连接本文只是将结果打印了出来,没有保存过程,后续会继续写文章思路注释上都有,就不墨迹了import jsonimport timeimport urllibimport urllib.requestfrom pathlib import Pathimport scrapyfrom scrapy.http import Request,FormRequest原创 2021-01-29 18:16:06 · 1183 阅读 · 0 评论 -
scrapy 笔记一 完整示例
转载并修改源博主网址:https://www.xncoding.com/2016/03/10/scrapy-02.html创建爬虫项目:scrapy startproject coolscrapy创建名为db的爬虫:scrapy genspider -t basic db douban.com开始爬数据scrapy crawl db爬出报错可能的原因:1、没有关闭机器人协议2、没有加请求头这篇文章我们通过一个比较完整的例子来教你使用Scrapy,我选择爬取虎嗅网首页的新闻列表。原创 2021-01-26 18:14:43 · 288 阅读 · 0 评论