python requests 初体验

超市dn

已于 2022-11-21 11:04:09 修改

阅读量138

点赞数

文章标签： python java javascript

于 2022-11-09 14:30:56 首次发布

本文链接：https://blog.csdn.net/m0_68157946/article/details/127769148

版权

# print(type(response))
#设置响应的编码格式
# response.encoding = 'utf-8'
#以字符串的形式返回源码
# print(response.text)
#返回一个url
# print(response.url)
#返回的是二进制的数据
# print(response.content)
#返回响应的状态码
# print(response.status_code)
#返回响应头
# print(response.headers)

在爬取网站时需要用到requests.get(),但是需要将数据类型转化为文本.text才能用bs4中的BeautifulSoup(,).find_all('', =")进行定位。

在爬取的时候要注意time.sleep（），否则可能导致网站来不及响应。

requests.post()

在使用过程中，可以通过传参，requests.post(data ='' ),也可以通过组装（jsonDataToUrlParams）url来得到访问地址