【大数据论文笔记】大数据技术研究综述

大数据的基本概念：

1.大数据的产生

       a.科学研究

       b.物联网的应用

       c.海量网络信息的产生

2.大数据概念的提出

3.大数据的“4V”特征

        a.Volume（容量大）：大数据巨大的数据量与数据完整性

        b.Variety（种类多）：要在海量、种类繁多的数据间发现其内在关联

        c.Velocity（速度快）：更快地满足实时性需求

        d.Value（价值密度低）：将信息转化为知识

4.大数据的应用领域

        a.商业

        b.金融

        c.医疗

        d.制造业

大数据的处理流程

 

1.数据采集

2.数据处理与集成（过滤）

3.数据分析（核心）

4.数据解释（数据可视化）

大数据关键技术

1.云计算和MapReduce

云计算：

       a.服务IaaS

       b.平台即服务PaaS

       c.软件即服务SaaS

MapReduce：

 

2.分布式文件系统

GFS：主要采取主从结构（Master-Slave）,通过数据分块、追加更新等方式实现海量数据的高速存储

3.分布式并行数据库

BigTable：

NOSQL：

4.开源实现平台Hadoop

5.大数据可视化

 

大数据带来的挑战：

1.大数据的安全与隐私问题

2.大数据的集成与管理问题

        a.数据存储

        b.数据清洗

3.大数据的IT技术架构问题

        a.大数据分析技术

        b.数据融合

        c.大数据能耗问题

4.大数据的生态环境问题