python网络爬虫学习1

一、网络爬虫理解

网络爬虫，又名网络蜘蛛，即通过网络蜘蛛来获取有关网页的内容。

网络爬虫是从某一个网站开始，读取网页的内容，如果网页中有其他网页的链接地址，则顺着这些地址继续读取网页内容，直至该网站所有网页内容都被读取完为止。

二、网页浏览过程

浏览器通过DNS服务器查找域名对应的ip地址；

向ip地址对应的web服务器发送请求；

web服务器响应请求，发回html页面；

浏览器解析html内容，并显示出来。

三、url解释

url由三部分组成：

1.第一部分是协议。

2.第二部分是存有该资源的主机ip地址。

3.第三部分是主机资源的具体地址，如目录和文件名等。

例：protocol :// hostname[:port] / path / [;parameters][?query]#fragment

其中第一部分和第二部分用 "://" 隔开；

第二部分和第三部分用 "/" 隔开。（第一部分和第二部分是必不可少的，第三部分可以没有）