1.大数据的概念
2.大数据的特点:
1.Volume'(大量)
2.Velocity(高速)
3.Variety(多样):结构化数据和非机构化数据(网络日志)
4.Value(低价值密度):
3.大数据部门组织结构
1.平台组:Hadoop,Flume,HBase等框架平台搭建
2.数据仓库组
3.数据挖掘组
4.报表开发组
4.Hadoop
什么是Hadoop:
1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构
2.主要解决,海量数据的存储和海量数据的分析计算问题
Hadoop发展史:
Hadoop三大发型版本
Apache:
Cloudera:
Hortonworks:
Hadoop的优势(4高)
Hadoop1.x和Hadoop2.x区别:
HDFS架构概述:
YARN架构:
MapReduce
Map:负责分
Reduce:负责合
大数据技术生态体系: