大数据基础入门

第一节:为什么要学习大数据

1、目的: 当然是为了找工作啦，赚money啦
2、对比: Java开发 和 大数据开发
3、当前热门就业方向：
1.大数据研发
2.大数据分析挖掘
3.深度学习
4.人工智能

第二节:什么是大数据?

举例:
1、商品推荐:问题:(1)大量的订单如何存储?(2)大量的订单如何计算?
2、天气预报: 问题: (1)大量的天气数据如何存储? (2)大量的天气数据如何计算?
什么是大数据，本质?
(1)数据的存储:分布式文件系统(分布式存储)
(2)数据的计算:分布式计算

第三节: Java 和 大数据 是什么关系?

1、Hadoop:基于Java语言开发
2、Spark:基 于Scala语言，Scala基于Java语言

第四节:学习大数据需要的基础和路线

1、学习大数据需要的基础

Java基础 (只需要学习Java的标准版JavaSE就可以了) —> 类、继承、I/0、反射、泛型…
Linux基础 (主要掌握Linux操作系统的理论基础和服务器配置实践知识) —> 创建文件、目录、vi编辑器…

2、学习路线:

(1) Java基础和Linux基础
(2) Hadoop的学习: 体系结构、原理、编程
第一阶段：HDFS、MapReduce、 HBase (NoSQL数据库)
第二阶段：数据分析引擎—> Hive、 Pig
数据采集引擎—> sqoop、Flume
第三阶段: HUE：Web管理工具