python网络爬虫（第四章 爬取网页数据）

爬取网页数据流程：

步骤1.指定url
步骤2.发送请求
步骤3.获取响应数据
步骤4.持久化存储

1.requests模块

1.urllib模块
2.requests模块

作用：模拟浏览器发请求
requests模块的编码流程
步骤1.指定url
步骤2.发送请求
步骤3.获取响应数据
步骤4.持久化存储

环境安装：

方法1.cmd--->pip install requests
方法2.使用Pycharm中，Pycharms--->Preferences--->Project--->Project Interpreter--->点击【+】--->输入【requests】--->点击【Install Package】