Python爬虫

自学爬虫第二章：requests模块

注意：此文使用pycharm软件进行编辑

1.requests介绍

• requests模块：python中原生的一款基于网络请求的模块
• 作用：模拟浏览器发请求
• 优点：功能强大，简单便捷，效率高

2.request使用编码流程

• 指定url
• 发起请求,返回响应对象
• 获取响应数据
• 存储数据

3.实战案例：搜狗页面爬取

1.环境安装
在控制台输入以下命令：

pip install requests

或者在本地安装，打开File–Settings-Project:Arithmetic-Python Interpreter进行下载：

2.编码过程

• 导入requests包

import requests
if __name__  == "__main__":
    # 1.指定url
    url ='https://www.sogou.com/'
    # 2.发起请求,get方法返回响应对象
    response = requests.get(url=url)
    # 3.获取响应数据.text返回的是字符串形式的响应对象
    page_text=response.text
    # 查看是否返回的是字符串
    print(page_text)
    # 4.存储数据
    with open('./sougou.html','w',encoding='utf_8') as fp:
        fp.write(page_text)
    print('爬取数据成功！')

3.爬取结果展示

保存的.html文件