蜘蛛(Spider),其实用通用的话来说就是搜索引擎编写的程序,这个程序非常的复杂,但是他的作用就是顺着互联网上的链接,读取到下一个网页,并将网站内所有的链接都读取一遍,并将信息数据带回到搜索引擎数据库内。
蜘蛛程序最早是被叫做“机器人”(Computer Robot)程序,因为他由搜索引擎放出去以后,就顺着互联网类似蜘蛛爬行似的,到处寻找链接,并顺着链接读取网站信息,形成了跟网似的,类似蜘蛛网,因此大家都叫他蜘蛛程序。
每个搜索引擎将蜘蛛都分为多类,然后将其分布在多台服务器上,最终将结果存储在一台或者几台服务器上。
seo是搜索引擎优化