mooc python网络爬虫与信息提取第一周_MOOC《Python网络爬虫与信息提取》学习过程笔记【requests库】第一周1-3...

一得到百度网页的html源代码：

>>> import requests

>>> r=requests.get("http://www.baidu.com")

>>> r.status_code #查看状态码，为200表示访问成功，其他表示访问失败

200

>>> r.encoding='utf-8' #更改编码为utf-8编码

>>> r.text #打印网页内容

>>> r.headers

二requests库的主要方法：

requests.request()   构造一个请求，支撑以下各方法的基础方法

requests.get()   获取HTML网页的主要方法，对应于HTTP的GET

requests.head()  获取HTML网页头信息的方法，对应于HTTP的HEAD

requests.post()  向HTML网页提交POST请求的方法，对应于HTTP的POST

requests.put()  向HTML想也提交PUT请求的方法，对应于HTTP的PUT

requests.patch()  向HTML网页提交局部修改请求，对应于HTTP的PATCH

requests.delete()  向HTML页面提交删除请求，对应于HTTP的DELETE

1requests.get()

r=requests.get(“网页地址”)  #get("网页地址")构造一个向服务器请求资源的Request对象

#r是一个包含服务器资源的Response对象

三Response对象的常用属性(这里是r)：

r.status_code    HTTP请求返回的状态，200表示链接成功，404表示失败...只要不是200都是失败的

r.text     HTTP响应内容的字符串形式，即url内容的页面内容

r.encoding   从HTTP header中猜测的响应内容编码方式

r.apparent_encoding   从内容中分析出的响应内容编码方式(备选编码方式)

r.content HTTP响应内容的二进制形式

>>> import requests

>>> r=requests.get("http://www.baidu.com")

>>> r.status_code

200

>>> r.text

#乱码

>>> r.encoding #从html代码的header查找charste关键字得到的编码方式，如果不存在charset则认为编码为ISO-8859-1

'ISO-8859-1'

>>> r.apparent_encoding #分析后得到的网页的正确编码方式

'utf-8'

>>> r.encoding='utf-8'

>>> r.text #打印出了我们想要的格式

四爬取网页的通用代码框架

1.什么是爬取网页的通用代码框架？

就是一组代码，可以准确可靠的爬去网页

Requests库的异常：

r.raise_for_status()  如果不是200，产生异常requests.HTTPError

>>> import requests

>>> def getHTMLText(url):

try:

r=requests.get(url,timeout=30)

r.raise_for_status() #如果状态不是200，引发HTTPError异常

r.encoding=r.apparent_encoding

return r.text

except:

return "产生异常"

>>> if __name__=="__main__":

url="http://www.baidu.com"

print(getHTMLText(url))

红色部分就是爬去网页的通用代码框架