python爬虫

python爬虫

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

1. html网页源代码

学过前段的朋友们都知道html是用于网页创作的超文本标记语言，在html中有许多的标签如：<a></a>、<href></href>、<p></p>等等这样以来使得html的源码变得有规律可循有结构层次化
而python爬虫的逻辑是：去模拟人类的操作的行为