第十三讲
爬虫介绍
-
爬虫简介
模拟浏览器,发送请求,获取响应
原则上只要是客户端浏览器能做的事情,爬虫都能做
爬虫也只能获取客户端浏览器所展示的数据
-
爬虫分类
通用爬虫
聚焦爬虫
聚焦爬虫是面向特定主题需求的一种网络爬虫程序,它和通用爬虫的区别在于只抓取特点我们需要的信息
根据目的可以分为
-
功能性爬虫
-
数据增量爬虫
根据url地址和对应的页面内容是否改变,数据增量爬虫可分为
-
地址变内容也变的爬虫
-
地址不变内容变的爬虫
url就是网址等
-
-
爬虫作用
数据采集
软件测试
网络安全
-
技术步骤
- 爬取数据,实际上就是根据一个网址向服务器发起网络请求,获取服务器返回的数据
- 解析数据,将服务器返回的数据转换为人容易理解的样式
- 筛选数据,从大量的数据中筛选出需要的数据
- 存储数据
from urllib.request import Request
from urllib.request import urlopen
# 爬取百度首页
url1 = 'http://www.baidu.com'
# 用一个变量保存
request = Request(url=url1)
response = urlopen(request)
# print(response.read().decode('utf-8'))
# 获取的数据是源代码要用decode进行解码操作
html_string = response.read().decode('utf-8')
with open('baidu.html', 'w', encoding='utf-8') as fp:
fp.write(html_string)