爬虫学习之requests模块学习

爬虫开发-requests模块学习

requests模块: python中原生的一款基于网络请求的模块, 功能强大, 简单便捷, 效率高效
作用: 模拟浏览器发请求

如何使用requests模块

环境安装

pip install requests

如何使用: requests 模块的编码流程

1. 指定url
2. 发起请求
3. 获取响应数据
4. 持久化存储

实战:爬取搜狗首页的页面数据

import requests
if __name__=="__main__":
    #1. 指定url
    url="https://www.sogou.com"
    #2. 发起请求
    #get方法会返回一个响应对象
    response=requests.get(url=url)
    #3. 获取响应数据
    page_text=response.text
    #4. 持久化存储
    with open('sougou.html','w',encoding='utf-8') as f:
        f.write(page_text)
    print("爬取数据成功!")