python 爬虫基础 -- requests 模块完整简单示例（网页检索）

python 爬虫基础 – requests 模块完整简单示例（网页检索）

request模块爬虫编码流程

使用流程 – request模块编码流程：

1. 指定URL
2. 发起请求
3. 获得响应数据
4. 持久化存储

简单示例 – 网页检索

#!usr/bin/env/python

import requests

def main():
    # step 1 : 指定url
    url = "https://www.baidu.com/s?"
    wd = input('Please input an keyword:');
    param = {
        'wd' : wd
    }

    # step 2 : 使用get方法，发起数据请求
    response = requests.get(url = url, params = param)
    # step 3 : 获得响应数据
    res_data = response.text
    # print(res_data)
    # step 4 : 持久化数据 -- 保持到本地文本中(数据库中也可)
    with open('./res_data.txt', 'w', encoding='utf-8') as fp:
        fp.write(res_data)
        fp.close()
    print('over.')
    pass;

if __name__ == "__main__":
    main()

在上一篇的基础上，增加了一对参数，用于检索用户输入的指定内容,
大家可以打开任意的检索引擎，输入任意想要检索的内容，查看此时在浏览器中生成的URL，试着在程序中多加入些参数，看看检索结果，是否会有什么不同。