大数据采集及预处理

学习内容：

 

1、大数据的数据采集是什么？数据采集的数据来源于哪？

大数据的数据采集是在确定用户目标的基础上，针对该范围内所有结构化、半结构化和非结构化的数据的采集，采集后对这些数据进行处理，从中分析和挖掘出有价值的信息。

大数据的三大主要来源为商业数据、互联网数据和物联网数据。

2、数据采集的技术方法分为哪些？

1、系统日志采集方法；

2、非结构化数据采集方法；

3、其他数据采集方法。

3、大数据的预处理的方法主要包括哪些？

1、数据清洗。对数据进行抽取、转换和集成加载。

2、数据集成。狭义上是指如何合并规整数据，广义上指数据的存储、移动、处理等与数据有关的活动。

3、数据变换。将数据转换成适合挖掘的形式。

4、数据规约。从数据库或数据仓库中选取并建立使用者感兴趣的数据集合，然后从数据中过滤掉一些无关、偏差或重复的数据。