大数据概念及hadoop概述

大数据的4v特征：

价值高（value）
体量大（volume）
种类多（variety）
速度快（velocity）

大数据的主要来源

大数据按照数据存储的形式划分

结构化数据简单来说就是数据库，如企业ERP，财务系统，医疗HIS数据库等其他核心数据库等数据。
非结构化数据包括所有格式的办公文档，图片，xml，图像，音频，视频等信息数据。

在海量的数据中，大部分是非结构化数据。

常用的大数据获取途径

系统日志采集
互联网数据采集
app移动端数据采集i
与数据服务机构进行合作

大数据的技术支持

大数据的处理方法

大数据的采集

大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。 常用的数据采集的方式主要包括以下几种：

数据抓取
数据导入
物联网传感设备自动信息获取

导入/预处理

虽然采集端本身有很多