python 爬虫基础 -- requests 模块完整简单示例

python requests 模块

requests 模块安装

windows：
pip install requests

linux/ubuntu：
sudo apt-get install python-requests

request模块爬虫编码流程

使用流程–request模块编码流程：

1. 指定URL
2. 发起请求
3. 获得响应数据
4. 持久化存储

简单示例：

# 爬取指定的页面数据

#!usr/bin/env/python

import requests

def main():
    # step 1 : 指定url
    url = "https://www.baidu.com"
    # step 2 : 使用get方法，发起数据请求
    response = requests.get(url = url)
    # step 3 : 获得响应数据
    res_data = response.text
    # print(res_data)
    # step 4 : 持久化数据 -- 保持到本地文本中(数据库中也可)
    with open('./res_data.txt', 'w', encoding='utf-8') as fp:
        fp.write(res_data)
        fp.close()
    print('over.')
    pass;

if __name__ == "__main__":
    main()

以上是使用requests模块，实现的最基本的python爬虫流程。