什么是爬虫，常见的java爬虫框架有哪些？-蛙课网

随着互联网的发展，编程程序语言也开始被越来越多的人所掌握，与此同时，java语言是使用范围最广的编程语言。今天我们一起了解一下什么是爬虫，java爬虫框架有哪些。

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫按照系统结构和实现技术，大致可以分为以下四种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。实际的网络爬虫系统通常是几种爬虫技术相结合实现的。

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。每一个爬虫都是你的“分身”，就像孙悟空一样，可以变出一堆猴子，当孙悟空饿了的时候，这些猴子可以出去找吃的，找到吃的以后，把吃的拿回来给孙悟空一样的道理。

目前流行的java爬虫框架有WebCollector、WebMagic、Nutch、YayCrawler、Spiderman等。

一、WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。支持分布式爬取。

二、webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

三、Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。

四、YayCrawler是一个基于WebMagic开发的分布式通用爬虫框架，开发语言是Java。

五、Spiderman是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。

六、Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。

以上就是我们今天介绍的爬虫及java爬虫框架相关的内容。