python爬虫基础

Requests库
get方法:
R = requests.get(url)
requests库内部生成一个Request对象向浏览器发出请求
 返回的Response对象包含所有返回的内容
response对象的五个属性
(1)r.status_code 返回的状态
(2)r.text 响应内容的字符串形式 即页面代码 Unicode形式
(3)r.encoding HTTP header中猜测的响应内容的编码形式即charset字段,若不存在默认为ISO-8859-1
(4)r.apparent_encoding 从内容中分析出的响应内容编码方式 (更准确)
(5)r.content 返回的二进制形式数据
 r.raise_for_status()#如果状态不是200,引发HTTPError异常
def getHTMLText(url):
    try:
  r = requests.get(url,timeout=30)
  r.raise_for_status()#如果状态不是200,引发HTTPError异常
  r.encoding = R.apparent_encoding   %很耗时间，尽量自己赋值
 Except:
  return ‘产生异常’
Head()方法可以用很少的流量获得header信息
Post()方法可以提交字典
**kwargs:控制访问的参数,均为可选项
params={‘k1’:’v1’}相当于加在url后面的参数
data={‘k1’,’v1’} data='内容'作为Request的内容
json=kv JSON格式数据作为Request的内容
headers={'user-agent