python 爬取数据防止IP被封

最新推荐文章于 2024-04-01 16:19:48 发布

Newnotes

最新推荐文章于 2024-04-01 16:19:48 发布

阅读量1.8k

点赞数

文章标签： python

本文链接：https://blog.csdn.net/newnotes/article/details/110295165

版权

一、使用代理IP池，利用代理IP进行爬取数据（免费的IP太难找了，示例代码中还应补充如果IP不能用，可以提示用户替换，由于用不到所以没有添加。仅供参考）
二、设置浏览器信息
三、设置连接网站动态访问时间

一、使用代理IP池，利用代理IP进行爬取数据（示例代码）

#使用代理IP池
def dynamic_IP ():              
    http_ip = ['222.242.106.7:80','11.11.11.11:80']  #使用的代理IP 
    proxy_ip = {
   'http': random.choice(http_ip)} # choice() 方法返回一个列表，元组或字符串的随机项。
    url = "http://www.ip111.cn/"
    html = requests.get(url=url)
    soup = BeautifulSoup(html.text, 'lxml')
    print('本机IP：', soup.find_all('p')[0].text)
    print(proxy_ip)
    try:
        html2 = requests.get(url=url, proxies=proxy_ip)
        code = html2.status_code
        soup = BeautifulSoup(html2.text, 'lxml')
        print('代理IP，可以使用:', soup.