Python爬虫--4

1、代理

代理：破解封IP这种反爬机制。

什么是代理：

        - 代理服务器。

代理的作用:

        - 突破自身IP访问的限制。

        - 隐藏自身真实IP。

代理相关的网站:

        - 快代理【免费私密代理IP_IP代理_HTTP代理 - 快代理】。

代理ip的匿名度：

        - 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip；

        - 匿名：知道使用了代理，不知道真实ip；

        - 高匿:：知道使用了代理，更不知道真实的ip。

# -*-coding = utf-8-*-
# ip代理验证。
import requests

if __name__ == '__main__' :
    # 第一步：指定url、指定认证header
    url = "https://www.baidu.com"

    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
    }

    # 第二步：发起请求；get()会返回一个相应对象
    response = requests.get(url = url, headers=header, proxies={"HTTP":'112.244.148.228:9000'})

    # 第三步：获取响应数据[.text是返回字符串形式的相应数据]
    page_text = response.text
    print(page_text)

    # 第四步：持久化存储
    with open("./temp/daili-test-1.html", 'w', encoding='utf-8') as fp :
        fp.write(page_text)
    print('保存成功！')

结果为：