爬虫入门第一节 使用requests模块

使用requests模块完成对网站数据的爬取。

'''
网络请求模块
    - requests模块：
python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
	作用：模拟浏览器发请求。
如何使用：（requests模块的编码流程）
    - 指定url
    - 发起请求
    - 获取响应数据
    - 持久化存储
环境安装：
    pip install requests
实战编码：
    - 需求：爬取搜狗首页的页面数据
'''

import requests
if __name__ == "__main__":
    # 1:指定url
    url = 'https://www.sogou.com/'
    # 2:发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)
    # 3:获取相应数据，text返回的是字符串形式的响应数据
    page_text = response.text
    print(page_text)
    # 4:持久化存储
    with open('./sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬起数据结束！')

在编译器中运行上述代码，理解代码意思。