基于C#.NET的高端智能化网络爬虫

本篇故事的起因是携程旅游网的一位技术经理，豪言壮举的扬言要通过他的超高智商，完美碾压爬虫开发人员，作为一个业余的爬虫开发爱好者，这样的言论我当然不能置之不理。因此就诞生了上一篇基础爬虫以及这一篇高级爬虫的开发教程。

有人评论我上一篇的简单爬虫：代码太过简单以至于弱爆了，真是被这群有文化的孩子给雷到了！不得不猜测你是不是携程网的托儿，我还没写完你咋就知道弱爆了？看来不下点猛料你是得不到满足啊！

今天我们就来学习高级爬虫的开发，同时我们还要利用之前的简单爬虫程序，来实现分布式爬虫的Links Master部分，以提高分布式抓取的效率。

下边的我们要讲的内容，涉及了众多开源软件。先别太紧张，越是高级的东西通常都封装的越好，只要放开心态综合运用就行了，我先假设你对下边这些工具都有过了解：

• RabbitMQ：用于分布式消息传递。

• Shadowsocks：用于代理加密。

• PhantomJS：用于Web页面渲染。

• Selenium：用于Web自动化控制。

一、什么是高级爬虫？

我们长谈到的高级爬虫，通常是说它具有浏览器的运行特征，需要第三方的类库或工具的支持，比如说以下这些常见的东东：

• Webkit

• WebBrowser

• PhantomJS + Selenium

很多人都觉得，分布式爬虫才能算是高级的爬虫。这绝对是一种错误的理解，分布式只是我们实现爬虫架构的一种手段，而并非是用来定义它高级的因素。

我们之所以称它们为高级爬虫组件，主要是因为他们不但可以直接抓取网页源代码，同时还能能渲染网站页面的HTML、CSS、Javascript等内容。

这样的功能，对于开发爬虫到底有什么好处呢？说起这好处那是有点谦虚了，丝毫不夸张的说：这玩意简直可以称为“爬无敌”！！！