Day 16 requests 获取、保存数据

Day 16 requests 获取、保存数据

1.requests 基础

import requests

# 1.请求网络数据：  requests.get(请求地址)
response = requests.get('https://cd.zu.ke.com/zufang ')


# 2.设置解码方式（乱码的时候需要设置    -   一定要在获取请求结果之前设置）
# 在源码的上面的head里面的charset去找
response.encoding = 'gb2312'

# 3.获取请求结果
# 1）获取请求结果对应的文本数据   -   爬网页
print(response.text)

# 2)获取二进制格式的请求结果    -   下载图片、音频、视频
# print(response.content)

# 3)获取请求结果json转换的结果 -   json接口
# response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js ')
# print(response.json())

2. 添加header

• 作用：直接使用requests不能获取数据的时候（反爬），添加header，可以伪装进入

import requests

# 1，发送请求
# 添加header：a.浏览器伪装（user-agent）、 b.免密登录(cookie)、 c.设置代理（proxies）
headers = {
    # 找user-agent的方法，打开一个你需要的网页，然后右键检查---Network---All-----Name(没有选项就刷新网址)---header---找到
    # cookie:每个网页的cookie不同，需要每次都找
    'cookie': '',
    # 找user-agent的方法，打开一个你需要的网页，然后右键检查---Network---All-----Name(没有选项就刷新网址)----找到，			这个可以用固定的，设置了快捷方式  b+回车	就能出来user-agent
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'
}
response = requests.get('https://movie.douban.com/top250', headers=headers)

# 2.获取结果
result = response.text
print(result)

3. 下载并保存到已经存在的文件夹

import requests
# 1.获取网络图片数据
response = requests.get('https://pic.lvmama.com/uploads/pc/place2/2019-04-11/b6360ae0-4536-4cf7-b16e-757ba12463f0.jpg')
result = response.content
print(type(result))

# 2.保存图片数据到本地文件
with open('files/a.jpg', 'wb') as f:
    f.write(result)

4.创建文件夹保存指定数据

# 文件夹不存在才创建
if not os.path.exists(f'files/{hero_name}'):
    os.mkdir(f'files/{hero_name}')