大数据入门篇及学习路线

大数据的应用场景

各行业（移动、互联网、电力、医疗）在信息化时代，产生的数据量日益增多，如果想对这些有用的数据进行挖掘、分析，获取它的价值，传统的mysql、Oracle数据库将无法解决这一需求，因此产生了大数据，业界拥有一整套对应海量数据的存储、运算的技术体系。

大数据的核心

分布式存储与分布式运算

大数据得到学习路线和前景规划

学习路线：Linux–>—>Hadoop（mapreduce,hdfs,yarn;hive,hbase,flume,sqoop）–>spark(spark core,spark streaming,spark sql,spark grahx,sprak mllib,kafka)—>flink(新秀)—>OLAP框架（kylin,clickHouse）

Hadoop简介

核心技术

HDFS：大数据首选的的数据存储技术
mapreduce：基本已被淘汰，替代者：spark，flink
yarn：大数据中最大通用的数据调度平台

上层技术

HIve：大数据体系中数据仓库建设的首选工具
Hbase：在一些大型企业中还有不少应用

内部核心组件

分布式核心技术：利用大量的机器协同工作、实现存储（HDFS）、运算（mapreduce）资源调度系统（yarn）

外围组件

HDFS的核心设计思想

重点

集群的搭建及常用知识点