day3.21

day3.21-常见的反爬

01.代理

import requests


def get_html(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
    }

    # 1. 使用代理：给参数proxies赋值
    # {'https': 'ip:端口'}
    # 1）使用固定的代理IP
    response = requests.get(url, headers=headers,proxies={'https':'114.106.157.166:4545'})

    # 2）通过请求获取ip的地址动态获取最新的代理IP
    response = requests.get(url)




    print(response.text)
    return response.text

if __name__ == '__main__':
    url = 'https://movie.douban.com/top250'
        # i = 1
        # while True:
        #     get_html(url)
        #     print(f'第{i}次')
        #     i += 1
    get_html(url)

02.selenium使用代理

from selenium.webdriver import Chrome,ChromeOptions

options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

# 1.使用代理
# --proxy-server=http://IP:端口号      （ip端口是https的ip）

options.add_argument('--proxy-server=http://115.207.203.163:4531')

b = Chrome(options=options)
url = 'https://movie.douban.com/top250'
b.get(url)
b.close()

03.requests自动登录获取cookie

from selenium.webdriver import Chrome

# 1. 获取cookie保存到本地
# 第一步：创建浏览器对象，打开需要自动登录的网站
b = Chrome()
b.get('https://www.taobao.com/')

# 2.手动完成登陆操作
input('是否完成：')

# 3.获取cookie数据并且保存在本地文件夹中
cookies = b.get_cookies()
open('files/taobao.txt','w',encoding='utf-8').write(str(cookies))

04.requests自动登录使用

from selenium.webdriver import Chrome

# 1. 创建浏览器对象打开网页
b = Chrome()
b.get('https://www.taobao.com/')

# 2. 添加本地保存的cookie信息
cookie_list = eval(open('files/taobao.txt',encoding='utf-8').read())
for cookie in cookie_list:
    b.add_cookie(cookie)

# 3. 重新打开网页
b.get('https://www.taobao.com/')

# 4. 进行其他后续操作

04.自体反爬

#需找woff或者woff2文件
# 然后在https://kekee000.github.io/fonteditor/中打开看对照关系