《自然语言处理实战入门》第二章： NLP前置技术----网络爬虫简介

我们平时做自然语言处理，机器学习，都是希望能够有丰富的训练数据集，这样才能获取质量上乘的模型。在大数据时代，处理数据已经不再是是问题了，spark，hadoop ，Elastic search提供了海量甚至巨量的分布式数据处理方法。问题是没有数据怎么办？在合理合法 的前提下自然语言处理 的语料和其他机器学习模型训练数据需要的图片等等各类数据，我们其实都是可以通过网络爬虫的方式进行积累的。

---

---

1. 网络爬虫

网络爬虫(Web Spider)又称网络蜘蛛、网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

网络爬虫按照系统结构和实现技术，大致可分为一下几种类型：

• 通用网络爬虫：就是尽可能大的网络覆盖率，如 搜索引擎(百度、雅虎和谷歌等…)。
• 聚焦网络爬虫：有目标性，选择性地访问万维网来爬取信息。
• 增量式网络爬虫：只爬取新产生的或者已经更新的页面信息。特点：耗费少，难度大
• 深层网络爬虫：通过提交一些关键字才能获取的Web页面，如登录或注册后访问的页面。

注：实际工作中通常是几种爬虫技术结合实现。

1.1 网络爬虫的合法性