爬虫过程中遇到服务器返回500 Internal Server Error

在使用Python爬取网页信息的时候经常遇到网页返回500 Internal Server Error

该原因是因为爬取网页太过频繁，服务器将你的ip屏蔽掉了

解决方法

在请求头加上 Referer
打开网页按F12，点击Network,随便点击一行，在Request Header里面会有Referer的信息

然后使用time库每爬取一个页面休息几秒钟
import time
//此处的意思是停止5秒
time.sleep(5)

为了使爬虫更真实，我们还可以调用random库随机停止几秒
import random
import time

//随机停止5到15秒
time.sleep(random.randint(5, 15))

还有一个方法就是使用多个代理去爬取信息，此处便不介绍了

完美解决此问题