![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习之路
csuzhaojian
这个作者很懒,什么都没留下…
展开
-
利用eclipse 新建hadoop的WordCount项目
一:打开elipse 点击【File】—>【Project】,选择【Map/Reduce Project】,输入项目名称WordCount,一直回车二:在项目中新建WordCount.java文件代码如下:import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.co原创 2017-10-23 16:12:45 · 805 阅读 · 0 评论 -
Eclipse搭建hadoop开发平台
安装之前下载所需软件: eclipse:https://pan.baidu.com/s/1mixItJUjre下载:https://pan.baidu.com/s/1mixItJUHadoop2.7.1插件下载:http://download.csdn.net/download/u013387787/10036394安装Eclipse:下载后解压即可安装Hado原创 2017-10-23 15:57:49 · 269 阅读 · 0 评论 -
Hadoop2.7.3完全分布式集群搭建和测试
转载至:http://blog.csdn.net/xiaoxiangzi222/article/details/527571681.安装虚拟机 在VM上安装下载好的Ubuntu的系统,具体过程自行百度。可以安装完一个以后克隆,但是本人安装过程中遇到很多问题,经常需要删除虚拟机,重新安装,而被克隆的虚拟机不能删除,所以本人就用了很长时候,一个一个安装。一共3台虚拟机:分配情况和I转载 2017-10-23 15:39:37 · 436 阅读 · 0 评论 -
Ubuntu 搭建hadoop平台
一、准备工作1、所需软件 虚拟机 vmware workstation 11 系统:Ubuntu14.04(64位) Java jdk:jdk1.8.5 Hadoop:hadoop-2.5.1 2、安装jdk,配置java环境 (1)将本地的jdk-8u25-linux-x64.tar复制master的/home/hadoop目录下。 (2)通过快捷键ctrl+a原创 2017-10-15 17:01:24 · 361 阅读 · 0 评论 -
MapReduce组合式,迭代式,链式
1.迭代式mapreduce 一些复杂的任务难以用一次MapReduce处理完成,需要多次 MapReduce 才能完成任务,例如Pagrank,K-means算法都需要多次的迭代,关于 MapReduce 迭代在Mahout中运用较多。有兴趣的可以参考一下Mahout的源码。 在MapReduce的迭代思想,类似for循环,前一个 MapReduce转载 2017-10-26 14:54:46 · 223 阅读 · 0 评论