hadoop
仁者无敌1987
这个作者很懒,什么都没留下…
展开
-
Hadoop2.7.4 MapReduce集群的Linux安装步骤
一、 目标Hadoop2.X MapReduce集群搭建 操作系统: CentOS Linux release 7.3.1611 服务器集群: Node-0: 192.168.2.200Node-1: 192.168.2.201Node-2: 192.168.2.202Node-3: 192.168.2.203Node-4: 192.168.2.20原创 2017-09-06 19:30:06 · 1061 阅读 · 0 评论 -
Hadoop2.7.4 MapReduce开发部署步骤
一、 目标基于Hadoop2.X 开发及部署MapReduce任务 l 案例需求计算在1949年-1951年,每年温度最高的前3天 l 思路: 1.按年份升序排序,同时每一年中温度按降序排序2.按年分组,每一年对应一个reduce任务 l 技术实现:1.mapreduce四个步骤:split、mapper、shuffle、reduce,其中原创 2017-09-08 14:42:57 · 2826 阅读 · 0 评论 -
CentOS7.3编译Hadoop2.7.4
一、 背景Hadoop官网提供的编译包如hadoop-2.7.4.tar.gz为Linux32位环境编译,其中native library在64位环境中运行会出现异常。因而在64位生产环境中使用的Hadoop是需要下载源代码并在64位系统中进行成功编译后的版本。 二、 环境CentOS Linux release 7.3.1611JDK 1.8_144MAVEN 3.5原创 2017-08-31 11:28:52 · 540 阅读 · 0 评论 -
MacOS10编译Hadoop2.7.4
一、 背景Hadoop官网提供的编译包如hadoop-2.7.4.tar.gz为Linux32位环境编译,其中native library在64位环境中运行会出现异常。因而在64位生产环境中使用的Hadoop是需要下载源代码并在64位系统中进行成功编译后的版本。 二、 环境PC: MacBook Pro(Retina,13-inch,Mid 2014)OS: macOS S原创 2017-08-26 21:56:13 · 1305 阅读 · 0 评论