大数据处理的数据从何而来？

前两天小编和同事聊天，有一茬没一茬的聊到，"咦，你说咱们用来做大数据处理的这些数据，都是从哪来的呢？"，小编一时语塞，"你管它呢，总之它就有"。这个问题它还真是一个值得说说的问题。

 

在现在的数据技术时代中，数据有着不可替代的地位，抛开数据谈大数据服务就是瞎扯，没有数据作支撑的大数据平台就是一个空壳。数据是一切数据分析、数据挖掘、大数据处理、Ai算法的核心。

在目前的来看，绝大多数公司或者组织做大数据处理时，他们的数据来源于：设备收集、数据库、日志、爬虫等等。当然如果是学术或者个人做大数据处理的研究的话，数据还经常可能来源于：开源数据集、造数据（假数据/模拟数据）等等。

这很好理解，因为在公司中，常常数据都是需要服务于真实业务，所以数据也就来自于真实业务，而个人或者学术上可以使用一些特定的开源数据集来做相应研究，下面我们来介绍一下公司中经常获取数据的这几种方法。

 

1、 设备收集

设备收集顾名思义就是使用一些设备来进行收集数据，比如在工业界电力行业常用的Scada数据就是通过常用的一些终端电子设备，直接放在汇流箱、逆变器等设备上&