网络爬虫基础知识学习

爬虫

爬虫的定义：网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

爬虫的分类：

• 通用爬虫 ：
  搜索引擎抓取系统的重要组成部分
  通用爬虫的局限性：

1. 通用搜索引擎所返回的结果都是网页，而大多情况下，网页里 90%的内容对用户来
   说都是无用的。
2. 不同领域、不同背景的用户往往具有不同的检索目的和需求，搜索引擎无法提供针
   对具体某个用户的搜索结果。
3. 万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体
   等不同数据大量出现，通用搜索引擎对这些文件无能为力，不能很好地发现和获取。
4. 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。

• 聚焦爬虫
  定义：： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息

爬虫工程师的进阶之路

初级爬虫工程师

1、web 前端的知识：HTML、CSS、JavaScript、DOM、DHTML、Ajax、jQuery、json
等；
2、正则表达式，能提取正常一般网页中想要的信息，比如某些特殊的文字、链接信息、
知道什么是懒惰，什么是贪婪型的正则；
3、会使用 XPath 等获取一些 DOM 结构中的节点信息；
4、知道什么是深度优先和广度优先的抓取算法及实践中的使用规则；
5、能分析简单网站的结构，会使