【爬虫】1、python 爬虫 数据请求、获取相应

1、发送网络请求、获取响应

import requests  # 导入库用于请求网络

url = "https://www.baidu.com/"
response = requests.get(url)

2、response 的常用对象属性方法

1）获取源码内容的两种方法

"""方法一"""
print(response.text, type(response.text))    # .text 返回的是 字符串类型

"""方法二"""
print(response.content, type(response.content))   # .content 返回的是 字节类型(byte)
print(response.content.decode(), type(response.content.decode()))

2）获取响应状态码

response.status_code

3）获取响应的url地址

response.url

4）响应对应的请求头

response.request.headers

---

3、案例

把网络上的图片保存到本地

url = 'https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fn.sinaimg.cn%2Fsinakd20117%2F320%2Fw640h480%2F20220302%2F4677-6251ea44a296dd661b958704c778227f.jpg&refer=http%3A%2F%2Fn.sinaimg.cn&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=auto?sec=1665972709&t=279e7c1fe69bc508a318513decd09a09'
response = requests.get(url)
data = response.content
# 网络中传输数据的格式 为 'wb'
with open('1.jpg', 'wb') as f:
    f.write(data)