爬虫02-requests

01.requests模块

• urllib模块–（古老，麻烦）
• requests模块–方便、高效

02.requests模块介绍

• python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率极高。
• 作用：模拟浏览器发送请求。

03.如何使用：

• 指定url
• 发起请求（GET、POST）
• 获取响应数据
• 持久化存储

04.环境安装

• pip install requests

05.实战编码

• 需求：爬取百度首页的页面数据

import requests


if __name__ == "__main__":
    # 指定url
    url = 'https://www.baidu.com'
    # 发起请求
    reponse = requests.get(url)
    # 获取响应数据
    page_text = reponse.text
    print(page_text)
    # 持久化存储
    with open('./baidu.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束！')

• 运行截图