一、pycurl 模块安装
【anaconda3中已经内置了pycurl。】
-
windows命令行 python3.X环境下安装:
pip install pycurl
-
测试 pycurl 是否安装成功,命令行执行
python
import pycurl
print(pycurl.version)
二、pycurl 简介
- CURL 是一个基于URL进行数据传输的命令行工具,使用C语言编写
- CURL支持 HTTP、HTTPS、FTP、TELNET、FILE、LDAP 等常见的网络传输协议;
- CURL 特点:速度快(听说比urllib快,虽然还是不知道是多快……)、体积小、效率高;
- libcurl 是对应的 C语言库;而 pycurl 则是对应的 python库
【 pycurl是用 C语言 编写的 URL 库, 我想,curl 就是这么来的吧~】
三、pycurl 属性和方法
1、常用操作说明
import pycurl
# 创建一个 curl 对象
c = pycurl.Curl()
import certifi
# windows 系统访问 HTTPS/HTTP,需要证书
c.setopt(pycurl.CAINFO, certifi.where())
# 操作设置
c.setopt(pycurl.URL, url) # 设置要访问的URL,如:url = 'http://www.baidu.com'
c.setopt(pycurl.USERAGENT, User_Agent) # 配置HTTP请求头,模拟浏览器,如User_Agent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36'
c.setopt(pycurl.CONNECTTIMEOUT, 2) # 设置连接的等待时间,此处为2,设置为0则不等待
c.setopt(pycurl.TIMEOUT, 300) # 设置请求超时时间
c.setopt(pycurl.NOPROGRESS, 0) # 设置是否屏蔽下载的进度条,非0则为屏蔽
c.setopt(pycurl.MAXREDIRS, 5) # 指定HTTP最大重定向次数
c.setopt(pycurl.COOKIEFILE,