requests库:网络请求、反爬虫(请求头、代理、cookie)

本文介绍了Python的requests库,它简化了网络请求操作,如get和post,以及处理代理IP、cookie和SSL证书的方法。通过requests.get()和requests.post()可以方便地发送HTTP请求,并自动处理编码和参数。对于反爬,文中提到了使用session处理cookie,以及在必要时设置verify=False来忽略SSL证书错误。
摘要由CSDN通过智能技术生成

requests实际上是更高级的urllib的类,作用都一样,只是使用的时候写法不一样,urllib传参需要url编码,添加请求头、设置代理IP和cookie都很麻烦,所以一般都是用requests比较多

像AJAX、WinHttp,这些都有很多相关的封装,方便使用:直接调用get、post这些相应的方法,传入url、参数、请求头、cookies等… 即可实现各种请求,而不需要手动去处理各种参数编码、请求头、cookies等问题

$.get()   $.post          requests.get()   requests.post()

requests库安装

中文文档:http://docs.python-requests.org/zh_CN/latest/index.html
github地址:https://github.com/requests/requests

因为是第三方库,不是Python安装后自带的所以需要先安装这个库

而Python安装第三方库,使用pip非常简单

通过pip安装

直接在cmd输入:pip install requests 即可安装

或者通过pycharm安装,具体可百度一下pycharm相关的使用方法

get请求

发送get请求,直接通过requests.get(),传入url地址、params、headers即可
提交参数不需要自己进行url编码,模块会编码好

import requests

response = requests.get('http://www.baidu.com')
print(type(response.text))       # 使用.text返回的是<class 'str'>  字符串类型  Unicode格式的数据
print(response.text)             # 模块自己会解码,但是有时会出现编码错误的情况

print(type(response.content))    # 使用.content返回的是<class 'bytes'>  字节码  字节流数据
print(response.content)
# 使用.content,然后自己根据网站的编码方式,解码为正常的网页html数据
print(response.content.decode('utf-8'))

"""其他属性说明"""
print(response.url
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值