01 大数据概述

大数据概述

大数据基本概念之大数据4V特征

1. Volume
2. Variety
3. Velocity
4. Value

大数据技术要解决的问题

从多样的数据类型(Variety),海量的数据规模(Volume),在快速的数据流转的情况下(Velocity)，发现数据价值(Value)

大数据涉及到的技术

1. 数据采集
2. 数据存储
3. 数据处理/分析/挖掘
4. 可视化

大数据在技术架构上带来的挑战

1. 对现有数据库管理技术的挑战
2. 经典数据库技术并没有考虑数据的多类别
3. 实时性的技术挑战
4. 网络架构、数据中心、运维的挑战

大数据带来的其他挑战

1. 数据隐私
2. 数据源复杂多样

挑战分析之如何对大数据进行存储和分析

系统瓶颈 Google大数据技术
存储容量 GFS
读写速度 BigTable
计算效率 MapReduce
但是Google只发表了技术论文，并没有开放源代码
一个模仿Google大数据技术的开源实现来了 hadoop

如何学好大数据

1. 官网、官网、官网
2. 英文、英文、英文
3. 项目实战对知识点进行巩固和融会贯通
4. 社区活动：Meetup、开源社区大会、线下沙龙等
5. 多动手、多练习、贵在坚持