[学习]笔记]爬虫的学习（每天学习一点点）

学习笔记来源

https://www.imooc.com/video/10675

1.爬虫的介绍

自动从互联网获取所感兴趣的数据的一段程序。

2.爬虫技术的价值

未来是信息为王的社会，要好好抓住这个末班车，听了这个价值，整个人都激动得不行。

3.爬虫技术的架构

这个网页可以将互联网相关网页的数据都爬取下来。

• 爬虫调度端：
  启动爬虫，停止爬虫，监视爬虫运行情况

• URL管理器：
  对将要爬取的和已经爬取过的URL进行管理；可取出带爬取的URL，将其传送给“网页下载器”

• 网页下载器：
  将URL指定的网页下载，存储成一个字符串，在传送给“网页解析器”

• 网页解析器：
  解析网页可解析出①有价值的数据②另一方面，每个网页都包含有指向其他网页的URL，解析出来后可补充进“URL管理器”

4.爬虫技术的架构

https://www.imooc.com/video/10678

5.URL管理器功能

url管理器的目的防止循环抓取，重复抓取同样的url

6.URL管理器的实现方式

set可以剔除重复的内容，防止重复爬取；
is_crawled用来判断是否已经爬取

大型公司使用缓存数据库，永久行保持使用关系型数据库，我们一般可以使用内存或者关系型数据库

x.明天继续学习