2021-09-30 网络爬虫

原理

 网络爬虫是一个自动提取网页的程序，是搜索引擎的重要组成。 
 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
 简单来说网络爬虫指按照一定的规则(模拟人工登录网页的方式)，自动抓取网络上的程序。

实现原理

1、获取初始URL。
2、根据初始的URL爬取页面并获得新的URL。 将新的URL放到URL队列中。
3、从URL队列中读取新的URL。并依据信的URL爬取网页，同时从新网页中获取新URL，并重复上述的过程
4、找到满足爬虫系统设置的条件信息 。停止爬取。

注释

• URL。 统一资源定位符
  URL是web页的地址，这种地址会在浏览器顶部附近的Location或者URL框内显示出来。鼠标指针移至某个超链接上方时， URL也会在屏幕的底部显示出来。
  URL由两个主要的部分构成：协议和目的地。
  “协议”部分告诉我们自己面对的是何种类型的Internet资源。 web中最常见的协议是http，它表示从Web中取回的是HTML文档。其他协议还有gopher，ftp和telnet等。
  目的地可以是某个文件名、目录名或者某台计算机的名称。
  “统一资源定位符” （URL）用来定义Web网页的地址。

   主机名=域名或IP地址
   URL的格式：协议名：//主机名[：端口号]/[路径名/…/文件名]