- 博客(2)
- 收藏
- 关注
RSS订阅原创 scrapy完成爬取内容的入库操作（mongodb数据库）（windows下）
一.下载并安装mongodb详情见其他帖子这里就不加以叙述二.在settings中打开PIPELINES并把数据库相应配置写入ITEM_PIPELINES = { '<spider_name>.pipelines.DouluodaluPipeline': 300,}MONGODB_HOST = '127.0.0.1'# 端口号，默认27017MONGODB_POR...
2020-02-20 18:41:32
165
原创 scrapy中user-agent（用户代理）的“随机更换”功能
scrapy中use-ragent（用户代理）的“随机更换”功能一.采用random模块并在middlewares中将所用的user-agent列出二.利用fake_agent第三方库实现user-agent的随机更换一.1.在middlewares中导入randomimport random2.新建一个类并将所用的user-agent列出class RandomUserAgentMi...
2020-02-18 20:12:31
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人