nodeJs爬虫如何设置动态代理IP

最新推荐文章于 2024-09-26 17:19:51 发布

像少年一样飞驰啦

最新推荐文章于 2024-09-26 17:19:51 发布

阅读量2.8k

点赞数

本文链接：https://blog.csdn.net/qq_36980713/article/details/84868137

版权

本文介绍了在Node.js爬虫中如何设置动态代理IP，利用superagent-proxy插件配合redis存储IP列表，实现10分钟更新策略。同时，分享了通过随机选择常用浏览器头部信息作为User-Agent的方法，以提高爬虫的匿名性。

摘要由CSDN通过智能技术生成

设置动态 IP 需要用到一个 superagent 插件—superagent-proxy，除此之外为了避免每次爬取时都去获取一次动态 IP 的列表，我将爬取到的动态 IP 列表存放在 redis 中，并设置 10 分钟的过期时间。数据过期之后再重新发送获取动态 IP 的请求。这里我使用的动态 IP 是蘑菇代理。

动态 userAgent

这是我收集到的常用的浏览器头部信息，每次爬取的时候从中随机选取一个，并使用 superAgent 设置请求头部的 User-Agent 字段就好了。

userAgent.js

const userAgents = [
  'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
  'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)',
  'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Ch