Python网络爬虫实现音乐下载器和图片下载器功能
引言
1.1课题背景
作为搜索引擎技术核心元素之一,自1993年初 Matthew Gray’s Wandered 在麻省理工学院开发出有史记载的第一个网络爬虫以来,爬虫技术历经20多年的发展,技术已日趋多样。为满足不同用户多种多样的需求,创建开发了类型众多的爬虫系统。按照实现技术和其系统构成,爬虫系统主要可以分为以下几种:
1.通用网络爬虫
通用网络爬虫(General Purpose Web Crawler) 也可称之为全站爬虫(Scalable Web Crawler),它通过一系列预设的初始链接开始
原创
2020-07-10 00:20:46 ·
2492 阅读 ·
0 评论