爬虫总结

爬虫入门

一、爬虫简介

在各行各业如火如荼快速发展的今天，市场是决定一家公司是否可持续发展最重要的一个衡量指标，市场的定位和发展核心是对行业数据的分析，对于数据的分析必须进行大量数据的统计分析才能得到一个比较中肯的处理建议，那么问题就来了~分析市场的行业数据，从哪里才能得到呢？

当数据开始变得敏感开始变得值钱起来(一直都很值钱)之后，很多官方或者民间的机构，开始就数据市场展开了新一轮的竞争，如官方会提供各种数据的统计信息方便大家了解目前的民生情况，百度提供了搜索引擎数据方便上网的时候进行的快速检索，腾讯指数提供了对于时下流行关键词的指数分析方便对于某些数据的统计信息的提取等等，总的来说~数据提供者一般都提供两种数据，一种可以共享的免费数据，一种比较有针对性的私密数据；免费数据可以供所有人查看，但是私密数据在一定程度上可以选择收费查阅或者直接禁止查阅，目前对于数据的来源一把都有如下方式：

1. 企业分析数据，如百度指数、腾讯指数、阿里指数等等
2. 数据平台数据，如数据堂，国云数据市场等等
3. 政府机构数据，如纳斯达克指数、国家统计局数据等等
4. 数据咨询公司，如艾瑞咨询等等
5. 网络爬虫采集

问题1：并不是所有的公司都可以付费购买数据

问题2：并不是所有的公司都满足于免费的数据？！

问题3：那么数据从哪里来？

网络爬虫 ，主要是针对网络上的数据通过编程的方式使用程序自动采集的一种手段，公司除了从第三方平台直接使用免费数据或者购买数据之外，更多的是通过网络爬虫的方式让爬虫工程师负责采集公司所需要的数据！这也是为什么爬虫工程师非常吃香的原因！

2. 通用爬虫和聚焦爬虫