[size=x-large][b]网络爬虫简述[/b][/size]
[size=small]网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。[/size]
[size=x-large][b]网络爬虫的作用[/b][/size]
[size=small]它是搜索引擎的重要组成部分,它为搜索引擎从万维网web上下载网页,从而得到想要的数据。[/size]
[size=x-large][b]网络爬虫的工作原理[/b][/size]
[size=small]传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。[/size]
[size=small]网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。[/size]
[size=x-large][b]网络爬虫的作用[/b][/size]
[size=small]它是搜索引擎的重要组成部分,它为搜索引擎从万维网web上下载网页,从而得到想要的数据。[/size]
[size=x-large][b]网络爬虫的工作原理[/b][/size]
[size=small]传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。[/size]