1.随着代码的运行,网站会返回403,503给我,然后我切换IP重新获取,可以获取到数据。
2.但是遇到一个问题,就是代码跑着跑着,一直在报403,一直在切换IP重新获取数据。
3.可是我发现一个现象,就是我此时重新运行爬虫代码,又可以获取大量的数据,不会报403.随着代码的运行,又开始报403,卡死。。。。。。。
最终解决办法:既然程序每次重启就可以拿到数据,那么我就采用这样的办法不就解决了?
于是,我运行linux命令,控制代码重启,最终完美解决了问题。
while [ 1 ]; do python3 37.py & sleep 600;pkill -9 37.py; done