day4 学习python爬虫——接口与常见反爬

day4 学习python爬虫——接口与常见反爬

一、获取数据接口

例如：获取英雄联盟英雄人物名称

import requests
import os

response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
for x in response.json()['hero']:
    print(x['name'], x['title'], x['goldPrice'])

二、requestes自动登录

例如获取cookie自动登录知乎网站

import requests

headers = {
    'cookie': 'xxxx'
}
response = requests.get('https://www.zhihu.com/', headers=headers)
print(response.text)

三、selenium自动登录

1.selenium获取cookie

from selenium.webdriver import Chrome

1.）用selenium打开需要获取cookie的网站

b = Chrome()
b.get('https://