大数据学习之路（一）MapReduce

     本人某二本计科大三狗一只，自知高中不努力，大学图悲伤，前两年多发奋努力嵌入式，取得一些成果，最终发现还是喜欢大数据，选择了走向大数据的道路。

大数据学习任重而道远，需要学习的东西很多。

比如语言，Java，Scala，python，shell，甚至需要C,C++，头大中。

框架则更多，Hadoop，mapreduce，HDFS，yarn,spark，storm，zookeeper等等。

数据库，redis，MySQL，hive，bhase等。

还要会Linux基本命令。

后悔没有更早的开始大数据之路，二本计科狗，为了得到更好的机会，还需要数据结构（leetcode）

 

嗯，开始。

开始之前，需要一台搭建好分布式或者伪分布式的电脑（当然，配置越高越好），本狗自己电脑安装有centos7.0的虚拟机三台，分别为master节点和两个slave节点。本狗会从每一个框架的原理开始分析，今天开始Hadoop、mapreduce的过程。

每一部分会分两个阶段，分别会用代码复杂但是速度快的Java（框架的实现语言是Java）和代码结构简单速度还阔以的python（有一个叫做hadoopstreaming的东西了解一下）

当然，对于mapreduce来说，用什么语言影响不大。下面会具体分析。

从Hadoop开始，在Hadoop1.x中。任务只要分为两个阶段