【初识大数据】4、大数据学习路线

大数据学习路线

1.1 基础

1、基础JAVA语言（Java SE）

• 变量 类型 循环 if
• 面向对象：类、封装、集成、多态
• I/O：输入流、输出流——>HDFS会用到
• 反射、泛型——>MapReduce程序
• JDBC: 操作关系型数据库（RDBMS）——>Hive

2、Linux基础： Linux基本操作/常用命令（见初识大数据二/三）
3、SQL基础： select（重点）insert、update、delete
----> Hive、Spark、SQL都会用到
----> 大数据的终极目标：使用SQL分析大数据

1.2 Hadoop

（1）数据储存：HDFS（Hadoop Distributed File System）
（2）数据计算：MapReduce（Java程序）:在Hadoop 2.x以后，在Yarn容器---> 实现离线计算
（3）Hive：基于HDFS智商的数据仓库，支持SQL语句
（4）HBase：基于HDFS智商的NoSQL数据库
（5）ZooKeeper：实现HA（High Availability高可用性）的功能
（3）其他组件（生态圈）：Pig、Flume、Sqoop

1.3实时计算

（1）Redis内存NoSQL数据库
		Redis Cluster：分布式解决方案
（2）Apache Storm：进行实时计算（流式计算）

---

以上都是用JAVA实现开发，以下是Scala语言开发

---

1.4 Spark

只有数据计算，没有数据的存储（依赖HDFS）

（1）Scala编程语言：多范式的编程语言（支持多种方法编程：1、面向对象  2、函数式编程）
（2）SPark Core：内核，相当于MapReduce
				最重要的概念：RDD（弹性分布式数据集）
（3）Spark SQL：类似Hive，支持SQL语句
（4）Spark Streaming：处理流式计算的模块，类似Storm