scrapy + mongodb爬取电影TOP250
无聊想看电影,今天上豆瓣看了一下,顺便爬了点豆瓣电影top250的榜单,并将数据存储到了mongodb中。
用到了scrapy + windows + mongodb
难点基本没有,也没遇到坑,就是存到mongodb数据库的时候有几步忘了,查了一下,看来要多用数据库才行。
废话不多说,直接贴代码。
平时遇到的坑昨天那篇博客已经说了,今天特别注意,有时候问题虽小,但是报错也很烦恼 = =…
爬虫代码...
原创
2018-10-18 17:38:36 ·
375 阅读 ·
0 评论