![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
浪漫硅谷
在代码路上我苦苦求索,只为心中的那个梦想
展开
-
hadoop安装(2)
在Linux 上安装与配置Hadoop (1)在Linux上安装Hadoop之前,需要先安装两个程序:JDK、SSH.Hadoop是用java编写的的程序,Hadoop的编译及MapReduce的运行都需要使用JDK。SSH(安全外壳协议),推荐安装OpenSSH.Hadoop 需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本。原创 2014-10-16 10:50:49 · 410 阅读 · 0 评论 -
Hadoop安装(1)
一、Linux 修改主机名称设置服务器的hostname(主机名),这样在程序和配置中可以使用hostname以代替 IP 地址。这样做有什么好处呢?当我们的 IP 变更之后,便不需要修改任何程序和配置。1.通过使用/etc/hostname文件来设置 hostname 输入vi /etc/hostname(创建文件),直接输入主机名称如:master2.修改/etc/hosts文件,原创 2014-09-27 00:00:21 · 382 阅读 · 0 评论 -
hadoop之hello world
import java.io.IOException ;原创 2014-10-17 09:56:03 · 486 阅读 · 0 评论 -
hadoop集群配置
一个具体的配置:这里只搭建一个三台主机的小机群 10.37.128.2 - master ,namenode , jobtracker -master (主机名) 10.37.128.3 - salve ,datanode , tasktracker -slave1 (主机名) 10.37.128.4 - slave ,datanode , tasktracker -原创 2014-10-16 15:11:44 · 442 阅读 · 0 评论 -
shuffle 过程解析
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里转载 2014-10-19 10:49:31 · 402 阅读 · 0 评论