banyan3646的博客

转载 python编写知乎爬虫实践

爬虫的基本流程网络爬虫的基本工作流程如下：首先选取一部分精心挑选的种子URL将种子URL加入任务队列从待抓取URL队列中取出待抓取的URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。解...