DAY10

第十三讲

爬虫介绍

1. 爬虫简介

   模拟浏览器，发送请求，获取响应

   原则上只要是客户端浏览器能做的事情，爬虫都能做

   爬虫也只能获取客户端浏览器所展示的数据

2. 爬虫分类

   通用爬虫

   聚焦爬虫

   ​ 聚焦爬虫是面向特定主题需求的一种网络爬虫程序，它和通用爬虫的区别在于只抓取特点我们需要的信息

   根据目的可以分为

   1. 功能性爬虫

   2. 数据增量爬虫

   根据url地址和对应的页面内容是否改变，数据增量爬虫可分为

   1. 地址变内容也变的爬虫

   2. 地址不变内容变的爬虫

   url就是网址等

3. 爬虫作用

   数据采集

   软件测试

   网络安全

4. 技术步骤

   1. 爬取数据，实际上就是根据一个网址向服务器发起网络请求，获取服务器返回的数据
   2. 解析数据，将服务器返回的数据转换为人容易理解的样式
   3. 筛选数据，从大量的数据中筛选出需要的数据
   4. 存储数据

from urllib.request import Request
from urllib.request import urlopen

# 爬取百度首页
url1 = 'http://www.baidu.com'
# 用一个变量保存
request = Request(url=url1)
response = urlopen(request)
# print(response.read().decode('utf-8'))
# 获取的数据是源代码要用decode进行解码操作
html_string = response.read().decode('utf-8')
with open('baidu.html', 'w', encoding='utf-8') as fp:
    fp.write(html_string)