【Python爬虫篇-1】用python爬取百度首页信息

爬虫在使用场景中的分类

通用爬虫:
        抓取系统重要组成部分。抓取的是一整张页面数据。
聚焦爬虫:

        是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。

增量式爬虫:
        检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据

requests模块: python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
作用: 模拟浏览器发请求。
如何使用:(requests模块的编码流程)
        指定url
        发起请求
        获取响应数据
        持久化存储

1、获取地址

 # url 获取要爬取的地址
    url ='https://www.baidu.com/'

2、发起请求

 # 发起请求
    resp = requests.get(url = url)

3、保证中文输出正常

# 防止出现乱码，保证中文输出正常
    resp.encoding = 'UTF-8'

 4、获取数据并打印出来

# 获取数据
    text = resp.text
    print(text)

5、将页面源代码写入文件

# 把页面源代码写入到文件中
    with open('./baidu.html',mode='w',encoding='UTF-8') as f:
        f.write(text)
    print("爬取数据结束")

总代码：

import requests
if __name__ == "__main__":
    # url 获取要爬取的地址
    url ='https://www.baidu.com/'
    # 发起请求
    resp = requests.get(url = url)
    # 防止出现乱码，保证中文输出正常
    resp.encoding = 'UTF-8'
    # 获取数据
    text = resp.text
    print(text)
    # 把页面源代码写入到文件中
    with open('./baidu.html',mode='w',encoding='UTF-8') as f:
        f.write(text)
    print("爬取数据结束")

输出在本地文件中