- 博客(3)
- 收藏
- 关注
原创 MapReduce的初步学习过程与基本示例
MapReduce准确来说分为两个阶段,分别是map阶段与reduce阶段,map阶段负责抽取源数据文件,并向各个reduce task分发任务,机制是将相同key的数据,组成对整合在一起输出到reduce阶段。reduce阶段则进行具体的处理过程,处理过程由一个或多个reduce task进行,其处理过后就是数据最终的处理结果。与平常的数据处理方式相比,mapreduce的好处在于“分而食之
2017-01-14 20:49:25
265
原创 Hadoop系统环境安装
hadoop系统环境安装分为三个部分,linux操作系统的安装,JDK的安装,hadoop的安装。 一.linux操作系统的安装 网上下载VMware workstation,在其上面创建linux虚拟机。具体可参考百度。虚拟机所需镜像文件在后面给出。linux操作系统中所需要注意的几个方面。 配置主机名 ip地址配成static 域名和ip的本地映射hosts。 打开虚拟机,因为
2016-11-23 19:48:49
311
原创 Hadoop系统环境安装傻瓜教程
Hadoop的安装我主要将其分为三个部分,一是linux系统操作环境的安装,二是JDK的安装,三是Hadoop的安装。下面就按照这样的安装流程走一遍,提前要说的是,因为是学习练习所用,所以只是在虚拟机上装了一个linux的环境,并且在hadoop安装过程中所使用的一些主要的安装包也会列出来。SO GO! 一.linux环境的安装 linux操作环境的安装我是在VM
2016-11-23 19:26:26
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人