Python爬虫 之requests模块

---

---

一、requests模快概念

概念：
Requests模块是一个用于网络访问的模块。python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

作用：
模拟浏览器发请求。

---

二、requests库的安装

环境安装：

pip install requests

PyCharm中requests库的安装详细步骤：

1、先升级pip

① 打开File中的Settings，或者快捷键Ctrl+Alt+S。

② 双击Project:object，看到Python Interpreter点击出现右边的框。（因为我是已经是装过request库的了，而且已经更新过了pip，所以可能和大家有所不同。）

③ 升级pip：
第一步：点击pip
第二步：然后点击最右侧边框中像眼睛的图标，查看是否需要更新，如果已经是最新版，关闭即可
第三步：如果需要更新，点击右侧边框中三角形图标，即可更新

2、安装requests库

① 点间右侧边框中的加号

② 在上方输入requests搜索，就会看到下方出现requests库。

③ 点击Install Package，现在requests库。

补充：如果下载速度满，可以用清华大学的安装库，这个安装速度快。

https://pypi.tuna.tsinghua.edu.cn/simple/

---

三、requests的基本用法

1、指定url
2、发起请求
3、获取相应数据
4、持久化存储

---

四、基本实例

需求： 爬取百度官网的首页数据，使用get()基本请求。

代码实现：

import requests

if __name__ == '__main__':
    # 1、指定url
    url = 'https://www.baidu.com/'
    # 2、发起请求
    # get()方法会返回一个相应对象
    reponse = requests.get(url)
    # 3、获取相应数据 .text 返回的是一个字符串形式的响应数据
    page_text = reponse.text
    # 打印
    print(page_text)
    # 4、持久化存储
    # 用只写的操作，将数据写入一个html文件中，生成一个html文件
    with open('./baidu.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束，存储完成！')

---

Python爬虫初探