python网络爬虫（一）

Requests库的get方法

requests.get（url，params=None，**kwargs）
url:获取页面的url链接
params:url中的额外参数，字典或字节流格式，可选
**kwargs:12个控制访问的参数

Response对象的属性

r.status_code	HTTP请求的返回状态，200表示成功
r.text	HTTP响应内容的字符串形式
r.encoding	从HTTPheader中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式
r.content	HTTP响应内容的二进制形式

爬取网页的通用代码框架

import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return “产生异常”
if __name__=="__main__":
url=“http://www.baidu.com”
print(getHTMLText(url))