hnust_xiehonghao的专栏

原创 爬虫技术概览

#爬虫介绍 ##简介 自动化、半自动化从互联网上采集数据的程序。 ##爬虫框架 一个简单的爬虫框架: 如上图，通常爬虫会有一份种子URL，放在待抓取队列，通过scheduler调度这些url，交由downloader去下载网页数据， 进行数据的清洗解析，获取到所需要的信息进行存储，并将新解析出的有用URL放入待抓取队列。 ##爬虫的各个阶段 ###调度阶段 下图是调度系统通常需要考虑的一些事情。...