上一篇爬虫中,https://blog.csdn.net/ai_64/article/details/90166089
代码太多,有近100行代码,还有复杂的正则表达式。
光是构造正则表达式就已经让人抓狂了。
本文使用scrapy爬虫框架,主要优点有三:
1.不用构造复杂的正则表达式。
2.爬取效率更高。
3.代码逻辑更优更简洁。
项目git地址:
git@github.com:cuanboy/scrapyTest.git
本文参考了以下资料
urllib2库的基本使用
https://blog.csdn.net/kingov/article/details/80173251
传智播客黑马社区
http://bbs.itheima.com/thread-344264-1-1.html
scrapy菜鸟教程
https://www.runoob.com/w3cnote/scrapy-detail.html
# -*- coding: utf-8 -*-
"""
语言版本:
python:3.7
scrapy:1