爬虫
aら 淼
这个作者很懒,什么都没留下…
展开
-
用scrapy框架写爬虫
爬虫可以发送给引擎的两种请求: # 1、url: # (爬虫)yield scrapy.Request -> 引擎 -> 调度器(发送给调度器入队) -> 引擎(调度器出队请求于引擎) # -> 下载器(引擎发送于下载器) -> 引擎(下载器成功(失败)返回引擎):-> 爬虫(引擎接收成功将给爬虫response)or -> 调度...原创 2019-09-27 10:15:19 · 455 阅读 · 0 评论 -
爬虫notes
‘’’ 爬取思路: 1、requests(url) 2、requests + json 3、requests + XPath 4、requests + BeautifulSoup 5、selenium 6、scrapy框架 7、scrapy-redis 及分布式 =============================================== OS: import os os.sys...原创 2019-09-27 10:47:04 · 760 阅读 · 0 评论