day1-html和requests

1. requests的基本用法

import requests

作用1：爬网页数据

# 1.对网页发送请求获取数据
response = requests.get('https://cd.zu.ke.com/zufang')

# 2.设置文本内容的编码方式(如果打印结果乱码就需要设置成和网页编码方式一样的值)
response.encoding = 'utf-8'

# 3.获取网页内容(获取网页源代码)
result = response.text
print(result)

作用2：请求接口数据

# 1.对接口发送请求
response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')

# 2.对请求结果进行json解析(json解析就是json数据转成成对应的Python数据)
result = response.json()
# print(type(result), result)
for x in result['hero']:
    print(x['name'], x['goldPrice'])

作用3：下载图片、视频、音频等

# 1.对图片地址、视频地址或者音频地址发送请求
response = requests.get('https://img1.doubanio.com/view/photo/l/public/p2557573348.webp')

# 2.获取请求结果(图片、视频或者音频的数据)
result = response.content
# print(type(result))   # <class 'bytes'>

# 3.将图片、视频或者音频的数据保存到文件中
with open('files/a.png', 'wb') as f:
    f.write(result)

补充：json 数据

# json是一种通用的文本数据格式(xml数据格式也是通用的文本数据格式)
# 1.认识json
"""
要求:有且只有一个数据，并且这个数据是json支持的类型的数据。

json支持的数据类型的格式：
1）数字    -  和数学一样
2）字符串   -  只能使用双引号
3）布尔值   -  true、false
4）空值     -  null
5）数组(列表)  - [数据1, 数据2, 数据3]
6）字典       -  {键1:值1,键2:值2,键3:值3,... }(字典的键只能是字符串，值可以是任何类型的数据)
"""

# 2.Python与json的相互转换
# Python中的json模块中提供了处理json数据的相关函数
import json

# 1)将json数据转换成对应的Python数据
# 字符串  -> Python字符串
# json数字  -> Python数字
# null  -> None
# ture、false  -> True、False
# json.loads(json格式字符串)  -  将指定的json数据转换成对应的Python
# json格式字符串：字符串内容是一个合法的json数据的字符串

result = json.loads('"abc"')
print(result, type(result))

result = json.loads('100')
print(result, type(result))

result = json.loads('null')
print(result, type(result))

result = json.loads('[10, "abc", true, null]')
print(result, type(result))  # [10, 'abc', True, None] <class 'list'>

# 2)将Python数据转换成对应的json格式数据
# json.dumps(python数据)  - 将python数据转换成对应的json格式字符串
json.dumps(100)     # '100'
json.dumps('abc')   # '"abc"'
json.dumps(True)    # true

result = json.dumps({'name': '张三', 'age': 18, '已婚': False, 10: 20})  # '{"name": "张三", "age": 18, "已婚": false, "10": 20}'
print(result)  # {"name": "\u5f20\u4e09", "age": 18, "\u5df2\u5a5a": false, "10": 20}

2.下载英雄选择音频

import requests


# 练习：将所有英雄选择的音频下载下来，下载的时候音频文件的名字用英雄名称命名
def get_all_audio_url():
    response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
    result = response.json()
    urls = []
    for x in result['hero']:
        url = x['selectAudio']
        name = x['name']
        urls.append((url, name))
    return urls


def download_audio(hero):
    url = hero[0]
    name = hero[1]
    result = requests.get(url).content
    with open(f'files/{name}.ogg', 'wb') as f:
            f.write(result)
    print(f'{name}音频下载完成')


if __name__ == '__mian__':
    for x in get_all_audio_url():
        download_audio(x)


# 方法2
response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
result = response.json()
urls = []
for x in result['hero']:
    result = requests.get(x['selectAudio']).content
    file = 'files' + x['name'] + '.ogg'
    with open(file, 'wb') as f:
        f.write(result)

3.浏览器反爬

import requests
from re import findall

# 1.对网页发送请求(伪装成浏览器)
headers = {
    'User-Agent': 'xxxxxxxx'
}
response = requests.get('https://movie.douban.com/top250', headers=headers)

# print(response)   # <Response [418]>

# 2.获取网页内容
result = response.text
print(result)
# 所有电影的中文名称
names = findall(r'<img width="100" alt="(\w+)"', result)
print(names)

# 所有电影的评分
scores = findall(r'<span class="rating_num" property="v:average">(\d+\.?\d*)</span>', result)
print(scores)


# 实参高阶函数
result = map(lambda i1,i2:{'title': i1, 'score': i2}, names, scores)
print(list(result))