爬虫-day1-requests

爬虫-day1-requests

一、requests的基本用法

1、导入requests

import requests

2、作用

# =======作用1：爬取网页数据=======
# 1、对网页发送请求获取数据
response = requests.get('https://cd.zu.ke.com/zufang')

# 2、设置文本内容的编码方式(如果打印结果乱码就需要设置编码方式)
response.encoding = 'utf-8'

# 3、获取网页内容(获取网页的源代码)
result = response.text
print(result)

# =======作用2：请求接口数据=======
# 1、对接口发送请求
response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')

# 2、对请求结果进行json解析
result = response.json()
for x in result['hero']:
    print(x['name'], x['glodPrice'])
    
# =======作用3：下载图片、视频、音频等=======
# 1、对图片地址、视频地址或者音频地址发送请求
response = requests.get('https://game.gtimg.cn/images/lol/act/img/vo/choose/1.ogg')

# 获取请求结果
result = response.content

# 将图片、视频获取音频数据保存到文件中
with open('filse/a.ogg', 'wb') as f:
    f.write(result)

3、补充：json数据 - json是一种通用的数据（xml数据格式也是通用的数据格式）

（1）认识json

• 要求：有且只有一个数据，并且这个数据是json支持的类型的数据
• json支持的数据类型格式：

'''
1）数字     - 和数学一样
2）字符串    - 只能使用双引号 
3）布尔      - true、false
4）空值      - null
5）数值（列表）- [数据1, 数据2, 数据3]
6）字典       - {键1：值1, 键2：值2, ...}(字典的键只能是字符串，值可以是任何类型的数据)
'''

（2）python与json的相互转换成对应的python数据

• python中json模块中提供了处理json数据的相关函数

improt json

• 将json数据转换成对应的python数据

'''
json字符串 -> python字符串
json数字  ->  python数字
true、false -> True、False
json.loads(json格式字符串) - 将指定的json数据转换换成对应的python
json格式字符串：字符串内容是一个合法的json数据的字符串
'''
result = json.loads('"abc"')
print(result, type(result))     # abc <class 'str'>

result = json.loads('100')
print(result, type(result))     # 100 <class 'int'>

result = json.loads('null')
print(result)    # None

result = json.loads('[10, "abc", true, null]')
print(result, type(result))   # [10, 'abc', True, None] <class 'list'>

• 将python数据转换成对应的json格式的数据

# json.dump(python数据) - 将python数据转换成对应的json格式字符串
json.dumps(100)       # '100'
json.dumps('abc')     # '"abc"'
json.dumps(True)      # 'true'
json.dumps({'name':'张三', 'age':18, '已婚':True, 10: 20})   # '{"name":"张三", "age":18, "已婚":True, "10": 20}'

二、下载英雄选择音频

1、练习：将所有的英雄选择的音频下载下来，下载下来的英雄音频用英雄名字命名

import requests

def get_all_audio_url():
    response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
    result = response.json()
    urls = []
    for x in result['hero']:
        url = x['selectAudio']
        name = x['title']
        urls.append((url, name))
    return urls


def download_audio(hero):
    url = hero[0]
    name = hero[1]
    response = requests.get(url)
    result = response.content
    with open(f'files/{name}.ogg', 'wb') as f:
        f.write(result)
    print(f'========{name}音频下载完成===========')


if __name__ == '__main__':
    for x in get_all_audio_url():
        download_audio(x)

三、游览器反爬

import requests
from re import findall

# 对网页发送请求(伪装成游览器)
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}
response = requests.get('https://movie.douban.com/top250', headers=headers)

# 获取网页内容
result = response.text

# 获取所有电影的中文名字
names = findall(r'<img width="100" alt="(\w+)"', result)
print(names)

# 所有电影的评分(控制台快速查找ctrl+f)
mark = findall(r'<span class="rating_num" property="v:average">(\d+\.\d+)<', result)
print(mark)

result = map(lambda i1,i2:{'names':i1, 'mark':i2}, names, mark)
print(list(result))