Selenium 爬虫实现

Selenium不仅可以进行自动化测试，还可以开展性能测试、网络爬虫、RPA领域等。

一、爬虫概述

1、爬虫简介

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

• 原则上，只要是客户端(浏览器)能做的事情，爬虫都能够做。

• 爬虫也只能获取客户端(浏览器)所展示出来的数据。

爬虫并不复杂，可以用一句话概括，爬虫是一个模拟人工操作、自动收集指定数据的程序。

爬虫随着互联网的发展而产生，在互联网发展的早期，整个网络中的网页都很少，大部分数据由人整理。在100个网页中人工收集需要的数据很容易，但随着互联网的不断发展，要在100000个网页中收集需要的数据就非常困难了。

为了解决这些问题，自动化的爬虫就诞生了。

它是一套代替人来收集数据的自动化程序，比人更高效且更精准。

2、爬虫类型

根据被爬取网站的数量不同，有以下几种类型：

• 通用网络爬虫：主要用于搜索引擎，是捜索引擎（例如百度、Google）的重要组成部分，用于收集互联网网页，并作为搜索功能的基础数据。</