网络爬虫简介

前言

没什么可以讲的所以就介绍爬虫吧

介绍

网络爬虫（英语：web crawler），也叫网路蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

网路搜索引擎等站点通过爬虫软体更新自身的网站内容（英语：Web content）或其对其他网站的索引。网路爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引（英语：Index (search engine)）供用户搜索。
爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求机器人（英语：Software agent）只对网站的一部分进行索引，或完全不作处理。互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质素结果。爬虫还可以验证超连结和HTML代码，用于网络抓取。

命名

网络爬虫也可称作网络蜘蛛、蚂蚁、自动索引程序（automatic indexer），或（在FOAF（英语：FOAF (software)）软件中