认识爬虫：如何使用 requests 模块模拟浏览器请求爬取网页信息？

2import requests

3

4# 定义请求的 url 地址

5url = “http://httpbin.org”

6

7# 使用 GET 方法发起请求

8response = requests.get(url=url)

9

10# 打印响应状态,200 表示成功

11print “响应状态”,response.status_code

12# 打印网页文本

13print “网页文本：”,response.text

2、GET 方法：添加请求参数

1# -- coding: UTF-8 --

2import requests

3

4# 定义请求的 url 接口(需要请求的接口),假设接口 http://httpbin.org/get

5url = “http://httpbin.org/get”

6

7# 定义请求头部信息(字典类型)

8headers = {

9 “Accept”: “/”,

10 “Accept-Encoding”: “gzip”,

11 “User-Agent”: “”,

12}

13

14# 定义请求参数信息(字典类型)

15params = {‘name’: ‘Python 集中营’, ‘type’: ‘python’}

16

17# 使用 GET 方法发起请求(加入头部信息、加入参数信息)

18response = requests.get(url=url,headers=headers,para