爬虫ddddd

本文由 简悦 SimpRead 转码， 原文地址 www.jianshu.com

爬虫

通常搜索引擎处理的对象是互联网网页。首先面临的问题是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。网络爬虫即起此作用，它是搜索引擎系统中很关键也很基础的构件。
爬虫：实际上就是通过相应的技术，抓取页面上特定的信息。

网络爬虫

当 “蜘蛛” 程序出现时，现代意义上的搜索引擎才初露端倪。它实际上是一种电脑 “机器人”(Computer Robot)，电脑 “机器人” 是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的 “机器人” 程序就象蜘蛛一样在网络间爬来爬去，反反复复，不知疲倦。所以，搜索引擎的 “机器人” 程序就被称为 “蜘蛛” 程序。

这种程序实际是利用 html 文档之间的链接关系，在 Web 上一个网页一个网页的爬取 (crawl)，将这些网页抓到系统来进行分析，并放入数据库中。第一个开发出 “蜘蛛” 程序的是 Matthew Gray，他于 1993 年开发了 World Wide Web Wanderer，它最初建立时是为了统计互联网上的服务器数量，到后来发展到能够捕获网址。现代搜索引擎的思路就来源于 Wanderer，后来很多人在此基础上对蜘蛛程序进行了改进。

运行流程图

我们听得多的爬虫可能是 python 爬虫，因为以前没有接触过这门语言所以感觉爬虫是一门神秘的技术。今天看了一篇博客介绍的是利用 Jsoup 包也可以简便的进行爬虫开发，令我注意的是这是 java 的包，于是就有了想自己也做一个爬虫程序。这也就有了我今天的文章，这也是从小白到大白的一个过程，因为以前没有写过类似的，所以还是有点小成就感。闲话就说到这直接上代码。

其实爬虫很简单，首先新建一个 java 工程。
这是将抓取出来的信息保存到本地，提高效率

  /**
     * 
     * @Title: saveHtml
     * @Description: 将抓取过来的数据保存到本地或者jso