16爬虫:python中的requests简单使用(自定义)

本文介绍了Python的requests库在爬虫中的基本使用,包括get和post请求、设置请求头、代理及超时设置。同时,详细列举了requests库常见的网络异常类型,如ConnectionError、HTTPError等。通过学习,可以掌握requests库进行HTTP请求的基础操作。
摘要由CSDN通过智能技术生成

理解request库的异常
requests.ConnectionError 网络连接异常,如DNS查询失败,拒绝连接等

requests.HTTPError: HTTP错误异常

requests.URLRequired: URL缺失异常

requests.TooManyRedirects: 超过最大重定向次数, 产生重定向异常

requests.ConnectTimeout: 远程连接超时异常

requests.Timeout: 请求URL超时, 产生超时异常

r.raise_for_status() 如果返回的状态码不是200, 则会产生requests。HTTPError异常

一、requests.get()使用

#Python 的标准库 urllib 提供了大部分 HTTP 功能,但使用起来较繁琐。
#通常,我们会使用另外一个优秀的第三方库:Requests,它的标语是:Requests: HTTP for Humans。


import requests#创建requests模块
reponse=requests.get("https://www.baidu.com/")#首先调用requests的get方法
<class 'requests.models.Response'>
#print(type(response))列表

reponse.encoding='utf-8'#转换中文

# 返回状态码
print(reponse.status_code)
200

# 打印网页的内容
print(response.text)#不需要解码就可以直接打印信息print(response.cookies)
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
结果如下

这里写图片描述

**requests库的基本方法:**

requests.request()     构造一个请求, 支撑以下各方法的基础方法
requests.get()    获取HTML网页的主要方法࿰
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值