交流
波波擦啵啵
这个作者很懒,什么都没留下…
展开
-
Mongdb数据库的下载和与Scrapy的连接
Mongdb数据库的下载与可视化工具的使用Mongdb数据库的下载和安装(1)下载地址https://www.mongodb.com/download-center/community选择对应的版本号然后点击Download开始下载(2)即安装成功。(3)配置Mongdb的存储目录进入cmd,创建data文档(mkdir data),再进入data目录,在里面创建db目录从命令行...原创 2020-02-10 19:48:23 · 179 阅读 · 0 评论 -
scrapy爬虫中的useragent(用户代理)的“随机更换”功能
如何在scrapy中使用useragent功能使用useragent功能的原因在平常使用爬虫时,绝大多数网站都会根据你所使用的请求头(User-Agent)来区分是否为爬虫程序,很容易拒绝我们的请求,在开始,我们会自定义一个请求头来完成我们的程序,但是,当我们用我们的爬虫程序去爬大量的网站时,使用同一个User-Agent是往往不够的,而添加多个又太过的繁琐,本文所提到useragent功能来...原创 2020-02-10 14:57:14 · 288 阅读 · 0 评论