python爬虫之Request库的使用

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库

一、Requests的安装

pip install requests

二、Request的使用

1、提取目标网站的代码

import requests
req = requests.get("https://www.baidu.com")
print(req.text)

2、Request基本请求方式

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

3、Requests库的get（）方法

requests.get(url, params=None, **kwargs)

• url : 拟获取页面的url链接
• params : url中的额外参数，字典或字节流格式，可选
• **kwargs: 12个控制访问的参数

比如：

import requests
params= {'key1': 'value1', 'key2': 'value2'}
req = requests.get("http://httpbin.org/get", params=params)
# 方法二
# req = requests.get("http://httpbin.org/get?key2=value2&key1=value1")
print(req.url)

4、Response 对象的属性

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

练习：

说明：

• r.encoding：如果header中不存在charset，则认为编码为ISO‐8859‐1
• r.text根据r.encoding显示网页内容
• r.apparent_encoding：根据网页内容分析出的编码方式，可以看作是r.encoding的备选

5、理解Requests库和Response的异常

（1）Requests库的异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

（2）Response异常

异常	说明
r.raise_for_status()	如果不是200，产生异常 requests.HTTPError

• r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要
  增加额外的if语句，该语句便于利用try‐except进行异常处理

6、爬取网页的通用代码框架

import requests
def getHTML(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()#如果不是200，引发HTTPRError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ =='__main__':
    url = "http://www.baidu.com"
    print(getHTML(url))

7、HTTP协议

（1）对HTTP的认识

HTTP，Hypertext Transfer Protocol，超文本传输协议，HTTP是一个基于“请求与响应”模式的、无状态的应用层协议，HTTP协议采用URL作为定位网络资源的标识，URL格式如下：
http://host[:port][path]

• host: 合法的Internet主机域名或IP地址
• port: 端口号，缺省端口为80
• path: 请求资源的路径

（2）HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

三、爬取中国大学排名

import requests
from bs4 import BeautifulSoup
import bs4
#获取页面信息
def getdaxue(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()#如果不是200，引发HTTPRError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
 #提取网页内容信息
def filldaxue(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])
#打印输出结果
def printdaxue(ulist,num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))   #解决中文对齐：采用中文字符的空格填充 chr(12288)
#主函数
def main():
    uinfo = []  ##待放入数据的列表
    url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
    html = getdaxue(url)
    filldaxue(uinfo,html)
    printdaxue(uinfo,20)
main()

嵩天老师的python网络爬虫与信息提取的笔记！

安利一个学习网站：爬虫