爬虫中ip代理、selenium\session和cookie的使用

最新推荐文章于 2024-04-13 03:42:01 发布

yq313210

最新推荐文章于 2024-04-13 03:42:01 发布

阅读量394

点赞数

文章标签： selenium proxy https

本文链接：https://blog.csdn.net/yq313210/article/details/105745407

版权

本文介绍了在爬虫中如何使用IP代理，包括代理IP的作用、HTTP与HTTPS的区别，以及验证代理IP的有效性。同时，讨论了Session和Cookie在爬虫中的应用，如在动态网页和模拟登录中的角色。最后，文章总结了相关内容并给出了实践作业。

摘要由CSDN通过智能技术生成

1. ip代理

什么是代理ip？它的作用？
HTTP和HTTPS的区别
获取ip地址并验证代理IP地址的有效性

A1: 我们知道IP是上网需要唯一的身份地址，身份凭证，代理IP是我们上网过程中的一个中间平台，是由自己的电脑先访问代理IP，之后由代理IP访问点开的页面。所以在这次访问记录里留下的是代理IP的地址，而不少自己电脑本机IP。
使用代理IP的好处有：1.加快访问速度 2. 保护隐私信息 3. 提高下载速度 4.可以当防火墙。

A2: 在这里插入图片描述

在这里插入图片描述
A3:

从该网站获取代理IP地址：

代码如下:

from bs4 import BeautifulSoup
import requests
import re
import json


def open_proxy_url(url):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {
   'User-Agent': user_agent}
    try:
        r = requests.get(url, headers = headers, timeout = 10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('无法访问网页' + url)


def get_proxy_ip(response):
    proxy_ip_list = []
    soup = BeautifulSoup(response, 'html.parser')
    proxy_ips = soup.find(id = 'ip_list').find_all('tr')
    for proxy_ip in proxy_ips:
        if len(proxy_ip.select('td')