认识爬虫：如何使用 requests 模块模拟浏览器请求爬取网页信息？(1)

3

4# 定义请求的 url 地址

5url = “http://httpbin.org”

6

7# 使用 GET 方法发起请求

8response = requests.get(url=url)

9

10# 打印响应状态,200 表示成功

11print “响应状态”,response.status_code

12# 打印网页文本

13print “网页文本：”,response.text

2、GET 方法：添加请求参数

1# -- coding: UTF-8 --

2import requests

3

4# 定义请求的 url 接口(需要请求的接口),假设接口 http://httpbin.org/get

5url = “http://httpbin.org/get”

6

7# 定义请求头部信息(字典类型)

8headers = {

9 “Accept”: “/”,

10 “Accept-Encoding”: “gzip”,

11 “User-Agent”: “”,

12}

13

14# 定义请求参数信息(字典类型)

15params = {‘name’: ‘Python 集中营’, ‘type’: ‘python’}

16

17# 使用 GET 方法发起请求(加入头部信息、加入参数信息)

18response = requests.get(url=url,headers=headers,params=params)

19

20# 打印响应状态,200 表示成功

21print “响应状态”,response.status_code

22# 打印响应信息

23print “响应信息：”,response.content

3、POST 方法：提交普通数据

1# -- coding: UTF-8 --

2import requests

3

4# 定义请求的 url 接口(需要请求的接口),假设接口 http://httpbin.org/post

5url = “http://httpbin.org/post”

6

7# 定义请求头部信息(字典类型)

8headers = {

9 “Accept”: “/”,

10 “Accept-Encoding”: “gzip”,

11 “User-Agent”: “”,

12 # 定义请求数据格式、json

13 “Content-Type”: “application/json”,

14}

15

16# 定义请求参数信息(字典类型)

17params = {‘name’: u’Python 集中营’, ‘type’: ‘python’}

18

19# 使用 POST 方法发起请求(加入头部信息、加入参数信息)

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！