Python爬虫(requests模块使用)

～Chen～

已于 2023-10-25 23:02:43 修改

阅读量681

点赞数

分类专栏： Python基础文章标签： request python

于 2021-07-29 23:58:43 首次发布

本文链接：https://blog.csdn.net/qq_43966236/article/details/119223335

版权

requests发送get请求

#requests模块安装
pip install requests



# 1. 导入request模块
import requests

# 2. 准备目标url地址
url = 'https://www.baidu.com'

# 3. 向目标url地址发送get请求
response = requests.get(url)

# 4. 打印响应内容
print(response.text)

requests响应对象


# 1. 导入request模块
import requests

# 2. 准备目标url地址
url = 'https://www.baidu.com'

# 3. 向目标url地址发送get请求
response = requests.get(url)

# 4. 打印响应内容
# print(response.text)
print(response.content.decode())


'''

response.content

返回类型： bytes
解码类型： 没有指定，原始响应内容，没有进行解码
指定编码方式： response.content.decode('指定编码字符集')
注意： response.content.decode() 默认使用 utf-8 编码方式
response.text

返回类型： str
解码类型： requests 模块自动根据 HTTP 头部对响应的编码作出有根据的推测，推测的文本编码
response.text = response.content.decode('推测出的编码字符集')
获取网页源码的方式：

response.content.decode()
response.content.decode('gbk')
response.text
以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题, 推荐优先使用: response.content.decode()'

'''



'''
response.url : 响应的url地址，有时候响应的 url 地址和请求的 url 地址不一样。
response.status_code : 获取响应状态码。
response.request.headers : 获取响应对应的请求头信息。
response.headers : 获取响应头信息。
response.request._cookies : 响应对应请求携带的cookie，返回cookieJar类型。
response.cookies : 响应时设置的 cookie，返回cookieJar类型。
response.json() : 自动将 json 字符串类型的响应内容转换为 python 对象(dict or list)
'''
# 1. 导入request模块
import requests

# 2. 准备目标url地址
url = 'https://www.baidu.com'

# 3. 向目标url地址发送get请求
response = requests.get(url)

# 4. 打印响应内容
print(response.url)