爬取网页的通用代码框架

通用代码：

import requests

def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)
		r.raise_for_status() 
		r.encoding = r.apparent_encoding  #使得解码正确
		return r.text  #返回网页内容
	except:
		return"产生异常"

	if _name_ == "_main_":
		url = "http://baidu.com"
		print(getHTMLText(url))

r.raise_for_status()判断requests类型是否是200，如果是200，正常，如果不是，则错误。

HTTP协议：
URL格式 http://host[:port][path]
host:合法的Internet 主机域名或IP地址
Port:端口号，缺省端口为80
path：请求资源的路径
例如：http://www.bit.edu.cn

requests 库方法解析：
requests.requests(method,url,**kwargs)
method:请求方法，对应Get/put/post等
eg：r = requests.requests(‘GET’,url,**kwargs)
url:获取页面的url链接
**kwargs:控制访问参数，共13个
eg:params:字典或字节序列，修改url
data:字典，字节序列或文件对象，作为request的内容
json：JSON结构数据
headers:字典，HTTP头字段
cookies:字典或CookieJar
auth:元祖
files:字典类型，传输文件
timeout:设定超时时间，以秒为单位
proxies:字典类型，设定访问代理服务器，可以添加登录认证
allow_redirects:True/False
stream:True/False，获取内容立即下载开关
verify:True/False,认证SSL证书开关
cert：本地SSL证书路径