![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
yujing06206
这个作者很懒,什么都没留下…
展开
-
hadoop环境配置——(单机版)
1.所需的环境 ubuntu系统 2.所需要的软件包 ubuntu系统安装包 JDK安装包(这里以jdk-6u30-linux-i586为例) hadoop-0.20.203.0包(下载地址:http://apache.etoak.com//hadoop/core/hadoop-0.20.203.0/) eclipse安装包 3.配置环境的步骤 3.1安装Ubuntu 安装...2012-02-05 15:20:09 · 150 阅读 · 0 评论 -
HDFS的文件操作
在去年寒假的时候,我们已经完成了hadoop集群的搭建,已经初步搭建起来了自己的云平台,也测试了一下远程访问HDFS,这几天也回顾了一下和测试了一下远程对HDFS的操作。HDFS的文件操作格式化HDFS命令:user@namenode:hadoop$ bin/hadoop namenode -format 启动HDFS命令:user@namenode:hadoop$ bin/start-df...原创 2012-02-07 11:43:40 · 246 阅读 · 0 评论 -
hadoop环境配置——(集群版)
这个寒假我们根据自己的摸索,我们克服了很多困难,最后终于搭建起了属于我们自己的云,虽然我们的“小云”经常出一些莫名其妙的问题,但是我觉得对我们来说她很有意义,写这篇博客分享一下那些天我们一起搭建的云,希望对那些想要搭建hadoop集群的朋友有帮助! hadoop集群配置的步骤: (1)修改机器的IP地址等信息 首先要分配集群机器的IP,给每台机器绑定IP,至于怎么绑定IP大家...2012-02-08 09:23:01 · 108 阅读 · 0 评论 -
MapReduce运行流程源码分析(一)
这几天都会看一些hadoop的源代码,开始的时候总会没有任何头绪,不知道从哪开始,经过这几天的对hadoop运行流程的分析和了解,还有从别人那得到的一些启发,再加上看到其他人发表的博客,对hadoop源代码 有了一点点的认识,这篇博客写下一点对hadoop源代码的了解 1.启动hadoop 我们都知道启动hadoop的命令是bin/start-all.sh,通过查看start-all.s...2012-02-08 13:39:44 · 274 阅读 · 0 评论 -
MapReduce运行流程源码分析(二)
这篇博客是接着昨天分析MapReduce的流程继续进行分析的: 4.JobTracker接收Heartbeat并向TaskTracker分配任务 上一步中TaskTracker调用transmitHeartBeat方法发送Heartbeat给JobTracker,当JobTracker被RPC调用来发送heartbeat的时候,JobTracker的heartbeat(TaskTracke...2012-02-10 00:56:08 · 186 阅读 · 0 评论 -
MapReduce提交作业常见问题
今天在hadoop集群上跑MapReduce程序,遇到的一些问题和解决的方法,希望对大家有帮助!1.从HDFS上传下载文件到第一种错误: Exception inthread"main"java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.1.11:9000/usr/yujing/wordcount, ex...2012-02-10 15:42:34 · 549 阅读 · 0 评论