大数据开发学习路线：大数据开发需要掌握哪些技术

大数据开发学习路线：大数据开发需要掌握哪些技术

当前大数据技术目前正处在落地应用的初期，未来大数据的发展空间还是比较大的，所以学习大数据相关技术是个不错的选择。大数据开发学习路线是怎样的？学习大数据开发需要掌握哪些技术呢？

 

大数据开发学习路线：

第一阶段：Hadoop生态架构技术

1、语言基础

Java：多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。

Linux：系统安装、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。

Python：基础语法，数据结构，函数，条件判断，循环等基础知识。

2、环境准备

这里介绍在windows电脑搭建完全分布式，1主2从。

VMware虚拟机、Linux系统（Centos6.5）、Hadoop安装包，这里准备好Hadoop完全分布式集群环境。

3、MapReduce

MapReduce分布式离线计算框架，是Hadoop核心编程模型。

4、HDFS1.0/2.0

HDFS能提供高吞吐量的数据访问，适合大规模数据集上的应用。

5、Yarn（Hadoop2.0）

Yarn是一个资源调度平台，主要负责给任务分配资源。

6、Hive