Selenium不仅可以进行自动化测试,还可以开展性能测试、网络爬虫、RPA领域等。
一、爬虫概述
1、爬虫简介
网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
-
原则上,只要是客户端(浏览器)能做的事情,爬虫都能够做。
-
爬虫也只能获取客户端(浏览器)所展示出来的数据。
爬虫并不复杂,可以用一句话概括,爬虫是一个模拟人工操作、自动收集指定数据的程序。
爬虫随着互联网的发展而产生,在互联网发展的早期,整个网络中的网页都很少,大部分数据由人整理。在100个网页中人工收集需要的数据很容易,但随着互联网的不断发展,要在100000个网页中收集需要的数据就非常困难了。
为了解决这些问题,自动化的爬虫就诞生了。
它是一套代替人来收集数据的自动化程序,比人更高效且更精准。
2、爬虫类型
根据被爬取网站的数量不同,有以下几种类型:
- 通用网络爬虫:主要用于搜索引擎,是捜索引擎(例如百度、Google)的重要组成部分,用于收集互联网网页,并作为搜索功能的基础数据。</