网络段子爬虫程序加强版-Scrapy框架

上一篇爬虫中，https://blog.csdn.net/ai_64/article/details/90166089

代码太多，有近100行代码，还有复杂的正则表达式。

光是构造正则表达式就已经让人抓狂了。

本文使用scrapy爬虫框架，主要优点有三：

1.不用构造复杂的正则表达式。

2.爬取效率更高。

3.代码逻辑更优更简洁。

项目git地址：

git@github.com:cuanboy/scrapyTest.git

 

本文参考了以下资料

urllib2库的基本使用
https://blog.csdn.net/kingov/article/details/80173251

传智播客黑马社区
http://bbs.itheima.com/thread-344264-1-1.html

scrapy菜鸟教程
https://www.runoob.com/w3cnote/scrapy-detail.html

 

 

# -*- coding: utf-8 -*-
"""
语言版本：
python：3.7
scrapy：1