Requests库的get方法
requests.get(url,params=None,**kwargs)
url:获取页面的url链接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数
Response对象的属性
r.status_code | HTTP请求的返回状态,200表示成功 |
---|---|
r.text | HTTP响应内容的字符串形式 |
r.encoding | 从HTTPheader中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容中分析出的响应内容编码方式 |
r.content | HTTP响应内容的二进制形式 |
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return “产生异常”
if __name__=="__main__":
url=“http://www.baidu.com”
print(getHTMLText(url))