python网络爬虫--Requests库（3）

一、 requests.get(url, params=None, **kwargs)

import requests

url = "https://movie.douban.com/subject/26754233/reviews?start=%d"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
}

for i in range(20):
    response = requests.get(url % i * 20, headers=headers)

    with open("%d.html" % i, "w", encoding="utf-8") as f:
        f.write(response.text)
        f.flush()

二、response属性和方法

1.1 属性

属性	描述
cookies	服务器返回给客户端的
elapsed
encoding	编码
headers	响应头
history	历史
raw	资源
reason	错误原因
request	对哪个请求的响应
status_code	状态码、响应码
url	对哪个地址的响应

状态码：

• 2XX
  - 成功
  - 200
  - 201
  - 3XX
  - 重定向
  - 4XX
  - 客户端错误
  - 5XX
  - 服务器内部错误

1.2 方法

变成属性的方法

方法	描述
ok
is_redirect	是否重定向
is_prmanent_redirect	是否永久重定向
next	重定位时下一个地址
apparent_encoding	编码
content	内容
text	文本内容，将内容作为文本格式
links	链接

成员方法

方法	描述
close
raise_for_status
json
iter_lines
iter_content