紧接上文内容(https://www.cnblogs.com/guanguan-com/p/13535351.html),来细化爬虫程序
3.制作爬虫
详细教程可以参考慕课网@大壮老师的课程https://www.imooc.com/video/17518
编写细致化的爬虫文件如下
注意代码之间的缩进规则,没有红波浪的下划线即没有错误,鼠标移动到红波浪的下划线位置会提示错误
然后我们到main.py中运行爬虫程序如下,即为成功
4.储存内容
(1)在cmd执行程序下输入scrapy crawl douban_spider -o test.json回车
(2)继续输入scrapy crawl douban_spider -o test.csv回车
(3)这样我们就把抓取到的数据导入到了一个test.csv表格中储存了,方便我们阅览信息
(4)在电脑C盘中查找test.csv可以看见
(5)选取一个复制到桌面方便下次查看
(6)双击打开表格,得到我们爬取到的豆瓣网详细信息,并且已经分类,便于查找
爬虫到这,也算是成功了
希望能帮到大家,问你们要一个赞,你们会给吗,谢谢大家
版权声明:本文版权归作者(@攻城狮小关)和CSDN共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
大家写文都不容易,请尊重劳动成果~
交流加Q:1909561302
博客园地址https://www.cnblogs.com/guanguan-com/