BigData<1>_大数据概览

·本系列主要学习Hadoop生态圈，以Hadoop为例，进入大数据技术的学习。其中，主要部分为：分布式文件系统HDFS， 分布式资源调度YARN， 分布式计算框架MapReduce， 数据仓库HIVE， Hadoop分布式集群搭建。

• 大数据概览

  1. 大数据的5V特点（IBM）：

  · Volume（大量）
  · Velocity（高速）
  · Variety （多样）
  · Value （低密度价值）
  · Veracity（真实性）
  是一种规模很大，以至于在获取、存储、管理、分析等方面远远超过了传统数据库软件能力范围的数据集合，具有海量数据规模， 快速的数据流转， 多样的数据类型， 价值密度低等几个特征。

  大数据处理的数据多为非结构化数据。
  结构化数据：本质上就是数据库，由二维表结构来表达和实现数据，严格遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理
  非结构化数据：不适合用数据库二维表表示，包括所有的办公文档，图片音频，视频信息

2. 大数据带来的技术变革

由于大数据的上述特点，驱动了一下技术的变革：

1. 存储：单一机器的文件存储 ——> 分布式存储（块 + 多副本存储）
2. 计算：单一机器进行计算 ——> 分布式计算（MapReduce）
3. 网络： 万兆网络
4. DB： RDBMS（relational database management system）——> NoSQL（HBase/Redis...)

3. 挑战

1. 对现有数据库管理技术的挑战
2. 经典数据库没有考虑的多类别
3. 实时性带来的技术挑战
4. 网络架构/数据中心/运维挑战
5. 其它：数据隐私/数据源复杂多样

转载于:https://www.cnblogs.com/isguoqiang/p/11454615.html