scrapy文档,挺赞的,看一下就完了
http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
总结遇到额问题
1/注意自己安装的版本要跟教程左下脚的教程版本对应,不同版本有细微差别
2/设置下载中间件
在settings.py最后加上这一句,设置下载器中间件
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,'tutorial.rotate_agent.RotateUserAgentMiddleware' :400
}
3/抓取中文出现乱码,看我的这篇文章
http://blog.csdn.net/yimingsilence/article/details/52105641
4/找xpath的时候可以借助firefox的firebug插件
持续更新