python网络爬虫与信息提取嵩天百度网盘_基于MOOC嵩天《Python网络爬虫与信息提取》视频学习记录——第一周：requests库...

1.requests库入门

requests的get( )方法

爬取百度网页实例：

import requests

r = requests.get("http://www.baidu.com")

print(r.status_code)

r.enconding = 'utf-8'

print(r.text)

爬取结果：

requests库的七个主要方法

requsets对象的属性

理解requests的编码

理解requests的异常

爬取网页的通用代码框架

import requests

def getHTMLText (url) :

try:

r = requests.get (url, timeout=30)

r.raise_for_status() # 如果状态不是200，引发HTTPError异常

r.encoding = r.apparent_encoding

return r.text