小白学爬虫——爬虫入门

前言

之前对爬虫也只是知道大概是干什么,但是真正如何去做,却真的没有接触过。学习爬虫技术,我面临两大难题,一个就是python语言,一个就是爬虫框架。这些知识将再以后的博文中涉猎,此篇主要是介绍一个网络爬虫的知识。

内容

1.学习爬虫有哪些意义?

  • 学习爬虫,私人定制一个搜索引擎,并且可以根据搜索引擎的数据采集工作原理有更深层次的理解。
  • 大数据时代,要进行数据分析,就需要有数据源,学习爬虫,可以获取更多的数据源。

2.网络爬虫有哪几种分类?

  • 通用网络爬虫——爬取资源在全网
  • 聚焦网络爬虫——按照预先设定的主题有选择的进行爬取
  • 增量式网络爬虫——在更新的时候只更新改变的地方,而未改变的地方则不更新
  • 深层网络爬虫

3.爬取网页有哪些爬虫策略?

  • 深度优先爬行策略
  • 广度优先爬行策略
  • 大战优先爬虫策略——根据网页所属的站点归类,网站的网页数量越多,该网站称为大战
  • 反链策略——反向链接数,指的是网页被其他网页指向的次数,这个次数一定程度上代表这该网页被其他网页推荐的次数。反链次数越多,哪个网页被优先爬取。
  • 自定义爬行策略

4.网页更新的策略?

  • 用户体验策略
  • 历史数据策略
  • 聚类分析策略

5.网页分析算法?

  • 基于用户行为的网页分析算法
  • 基于网络拓扑的网页分析算法
  • 基于网页内容的网页分析算法

总结

上面总计的几点知识看起来非常的零散,其实他们之间是有关联的,在爬取网页的时候,需要确定什么类型的爬中,是聚焦还是全网爬虫,需要确定采用什么策略爬取,爬取到网页后如何分析。以及最后考虑网页如何进行更新。这是我理解的他们之间的关系,如果你有什么更好建议欢迎留言!

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页