学会运用爬虫框架 Scrapy各类技术文章大汇总

搜索到最好的关于反爬虫的文章。

上篇文章介绍 Scrapy 框架爬取网站的基本用法。但是爬虫程序比较粗糙，很多细节还需打磨。本文主要是讲解 Scrapy 一些小技巧，能让爬虫程序更加完善。
https://www.jianshu.com/p/300c57fff664

但文中如下代理已经出现问题
PROXY_LIST = [
“https://175.9.77.240:80”,
“http://61.135.217.7:80”,
“http://113.77.101.113:3128”
“http://121.12.42.180:61234”,
“http://58.246.59.59:8080”,
“http://27.40.144.98:808”,
“https://119.5.177.167:4386”,
“https://210.26.54.43:808”,
]

作者：猴哥Yuri
链接：https://www.jianshu.com/p/300c57fff664
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

Scrapy简单介绍及爬取伯乐在线所有文章
https://www.cnblogs.com/lyq-biu/p/9703933.html

Python：一句话生成字母表
https://blog.csdn.net/zzzmmy2003/article/details/54837838

加入MongoDB数据库
https://www.jianshu.com/p/a30ab2cfe9b4

加入redis分布式爬虫
https://blog.csdn.net/zwq912318834/article/details/79720742

官方scrapy文档
https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html

使用scrapy踩的坑之如何使用scrapy实现递归爬取
https://blog.csdn.net/u014271114/article/details/53082676

文件乱码解决方案
https://www.aisun.org/2017/10/python+scrapy/
https://blog.csdn.net/jim7424994/article/details/22675759
https://www.jb51.net/article/64816.htm
https://www.crifan.com/unicodeencodeerror_gbk_codec_can_not_encode_character_in_position_illegal_multibyte_sequence/
https://stackoverflow.com/questions/5054333/attributeerror-list-object-has-no-attribute-encode

You need to unicode each element of the list individually
[x.encode(‘utf-8’) for x in tmp]

实例，爬取豆瓣电影top250
https://segmentfault.com/a/1190000013268442

模块导入
https://www.cnblogs.com/sjy18039225956/p/9265461.html
https://blog.csdn.net/leorx01/article/details/71141643