【python爬虫】反爬解决方案

最近因工程需要，需要爬取大量数据，期间遇到一系列问题，特此记录

问题一：ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接

解决方案：

import requests

if __name__ =="__main__":
    try:   
        # 请求的api
        query = ("...")      
        # timeout （读取时间 连接时间）
        r = requests.get(query,timeout=(100,300)).json()
    except requests.exceptions.RequestException as e:
        print(e)
        print('失败')
        #继续接下来的操作 假如在不停记录数据的话可以记录一个None值          
 

简单来说就是用try except包围起来。

对于需要爬取批量的数据来说，这是一个很好的解决方案。只是需要注意except中写入遇到错误时的方案，然后在后续处理数据的时候再对缺失值处理即可。

虽然也有人说加入time.sleep就行了，但是经本人鉴定，在要爬取上万甚至上亿条数据的数据的时候，这也是行不通的，就算设置为十秒也会有问题，而且这样效率实在是太低了...

问题二：urllib.error.URLError: ＜urlopen error [Errno 11001] getaddrinfo failed＞

解决方案：

#ua_list是个User-Agent的集合
ua_list = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
            'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
            'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'
        ]
headers = {'User-Agent': random.choice(ua_list)}
# timeout （读取时间 连接时间）
#query为你要爬取的api
query = ("...")  
r = requests.get(query,timeout=(200,300),headers=headers).json()

通过更换User-Agent来避免被反爬