Python从0到100（二十六）：爬虫基本概念、流程及https协议

一、爬虫的基本概念

1.为什么要学习爬虫

如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？

首先我们来看下面这个例子：

这是微博的微指数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，然后进行了统计，然后根据统计结果得出某个词语的流行趋势，之后进行了简单的展示

类似微指数的网站还有很多，比如百度指数，阿里指数，360指数等等，这些网站有非常大的用户量，他们能够获取自己用户的数据进行统计和分析

那么对于一些中小型的公司，没有如此大的用户量的时候，他们该怎么办呢？

1.1 数据的来源

• 去第三方的公司购买数据(比如企查查)
• 去免费的数据网站下载数据(比如国家统计局)
• 通过爬虫爬取数据
• 人工收集数据(比如问卷调查)

在上面的来源中：人工的方式费时费力&