在爬虫中为何要使用IP代理

客户端的IP地址是唯一的，所以开发者便将IP地址作为客户端的身份标识。

服务器会判断一个频繁的请求是不是来自于同一个IP地址发出的，对于访问速度过高或者访问次数过多的IP，则会对IP进行反爬虫限制访问。

对于访问速度的处理：间隔一段时间爬取一次，避免频繁访问；

对于访问次数的处理：使用代理IP，随机切换IP地址，不使用真实的IP来发起请求。