github_37428143的博客

原创 简单的爬虫入门

开发轻量级的爬虫,不需要登录的静态网页的爬取: 1,爬虫的简介: 啊,这个地方 爬虫的定义啥的就不多讲了,反正它的的功能啥的是很强大的,主要就是对网络上的数据的爬取,然后对于爬取的数据可用于多方用途;用一句话就是:"互联网数据,为我所用  --慕课网某老师" 2,简单的爬虫架构: 恩,就是图片中的各个部分: 3,url管理器的实现方法: *实现方式： 1,内存：