Python——requests请求、cookie处理和lxml解析

一、requests请求

      1.通过pip安装

pip install requests

       2.发送请求与传递参数

import requests
url = 'http://www.baidu.com'
response = requests.get(url)

# 请求成功
print(response)

# 获取网页文本内容
print(response.text)

# 请求状态的说明
print(response.reason)

# link跳转的地址
print(response.links)

# 请求历史
print(response.history)

# 获取网页的编码格式
print(response.apparent_encoding)
print(response.encoding)

# 设置响应的编码格式为网页的编码格式
response.encoding = response.apparent_encoding

# 获取网页内容（bytes形式的）
print(response.content)

# 获取网页cookies
print(response.cookies)

# 获取响应头信息
print(response.headers)

# 获取请求的网址
print(response.request.url)

二、cookie处理

       cookieJar是基类，CookieJar模块能够做到给请求设置cookie,但是它的cookie是保存在内存里，每次用都需要重新设置，这就衍生了它的子类——FileCookieJar，它可以将cookie保存在文件中，直接使用。LWPCookieJar和MozillzCookieJar是FileCookieJa