requests、bs4总结和作业

requests、bs4总结和作业

一、requests的用法

requests是Python用于网络(http)请求的第三库，也是爬虫获取网络数据的重要工具

1. 向目标地址(网络地址)发送请求
requests.get(url,*,headers, proxies, timeout)   -  以指定的方式给地址发送网络请求，返回值是服务器返回的响应对象

参数说明：
url  -  字符串；请求的网络地址，可能是目标网站的网址也可能是数据接口
headers  -  字典；请求头，用于伪装浏览器设置user-agent、完成自动登录设置cookie
proxies  -  字典；设置代理ip(ip地址被封的时候使用)
timeout  -  数字；设置超时时间

url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,数据分析,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
headers = {
   
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
response = requests.get(url, headers=headers)

#2. 获取响应头
print(response.headers)

#3. 设置响应的编码方式(在获取请求结果乱码的时候使用)
response.encoding = 'gbk'

# 4.获取请求结果
# 1）获取字符串格式的结果(爬网页)
print(response.text)

# 2) 获取二进制格式的结果(爬图片、视频、音频)
print(response.content)

# 3)获取json解析的结果(爬接口数据)
print(response.json())

二、爬网页

import requests

url = 'https://cd.zu.ke.com/zufang'
response = requests.get(url)
print(response.text)

三、下载图片

import requests

# 1. 对图片地址发送请求
url = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'
response = requests.get(url)

# 2. 保存图片数据到本地
open('files/a.png', 'wb').write(response.content)

四、json接口数据

import requests
import os

url = 'https://game.gtimg.cn/imag