爬虫简单介绍（附豆瓣爬虫简单代码实现）

1什么是爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做

1.1爬虫的分类

根据被爬网站的数量的不同，我们把爬虫分为：
通用爬虫 ：通常指搜索引擎的爬虫（https://www.baidu.com）
聚焦爬虫 ：针对特定网站的爬虫

聚焦爬虫流程：

2为什么要爬虫？

如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？
首先看下面例子：
这是微博的微指数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，然后进行了统计，然后根据统计结果得出某个词语的流行趋势，之后进行了简单的展示

类似微指数的网站还有很多，比如百度指