《大数据采集与预处理技术》-----前三章概述

**数据产生方式大致经历了3 个阶段**
1.互动式互联网阶段
2.传统数据库阶段
3.智慧社会阶段

大数据不仅仅是数据的“大量化” ，而是包含“快速化”、 “多样化”和“价值化”等多重属性

**大数据的特征**：大量，多样，价值，高速，准确性，复杂。

**大数据关键技术**：数据采集，数据预处理，数据存储，数据分析与挖掘，数据可视化。

**传统数据采集与分布式大数据采集** 
*传统数据采集*：数据来源单一，数据结构简单，且存储、管理和分析数据量也相对较小，大多采用集中式的关系型数据库或并行数据仓库即可处理。
 *分布式大数据采集*：更高的数据访问速度、更强的可扩展性、更高的并发访问量。

 **数据预处理技术**：数据清理，数据集成，数据变换，数据归约。

 **数据采集**是指将要获取的信息通过传感器转换为信号，并经过对信号的调整、采样、量化、编码和传输等步骤，最后送到计算机系统中进行处理、分析、存储和显示。

 **微型计算机数据采集系统和集散型数据采集系统**
 **微型计算机数据采集系统**
 1.传感器：把各种非电的物理量，比如温度、压力、位移、流量等转换成电信号的器件称为传感器。
 2.模拟多路开关来轮流切换各路模拟量与A/D转换器间的通道，使得在一个特定的时间内，只允许一路模拟信号输入到A/D转换器，从而实现分时转换的目的。
 3.程控放大器的作用是将微弱输人信号进行放大，以便充分利用A/D转换器的满量程分辨率。
 4.采样/保持器的加入，大大提高了数据采集系统的采样频率。
 5.a/d转换器：模拟信号转换成数字信号
 6.接口：用来将传感器输出得数字信号进行整形或电平调整，然后再传送到计算机的总线
 **集散型数据采集系统**
 1.数据采集站：一般