scrapy(微博)数据保存到Mongodb

1.settings.py:(配置文件)


②UserAgent配置放开


③Mongo配置放开


④Mongo配置



2.middlewares.py

中间件配置(useragent, proxy, cookies)





3.spiders(逻辑)



4.items.py



5.pipelines.py

6.debug(运行)


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页