简单粗暴了解爬虫（一）

简单粗暴了解爬虫

爬虫首先要遵守robots协议，也就是哪些可以爬取，哪些不可以爬取

看大蜘蛛
爬虫名词解释：
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

刚刚接触爬虫的时候我看到这段话实际上很懵逼，上大学那会刚开始接触爬虫的时候在想爬虫爬虫为啥叫做爬虫，网上理论一大堆，但就是不理解，咳咳这就是有点钻牛角尖了，这是不对的，我们要透过表面看本质 嘎嘎

比如说，今天，你们老板让你去某个新开网站去复制网站上面的内容，打开网站以看，哈呀就一点内容，这个轻松哈，ctrl+c ctrl+v嘎嘎几下就完成了，第二天一看，多了点哈，也没多太多，也ctrl+c ctrl+v嘎嘎几下就完成了，四天后发现，这么多，怎么办呢，爬虫就上场了，只需要一段简单的代码就可以爬取网站上你指定的内容。怎