hadoop
文章平均质量分 63
tangtang5156
这个作者很懒,什么都没留下…
展开
-
ResourceManager相关配置参数
1. ResourceManager相关配置参数(1) yarn.resourcemanager.address参数解释:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。默认值:${yarn.resourcemanager.hostname}:8032(2) yarn.resourcemanager.scheduler.转载 2014-11-07 12:46:03 · 6179 阅读 · 0 评论 -
hadoop2.2.0伪分布式安装
hadoop2.2.0伪分布式安装安装前解决的问题:1、hadoop官网下载的hadoop二进制文件是在32位环境下编译的(地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/),如果在64位linux下安装需要自己下载源码进行编译(参考:http://blog.csdn.net/li385805776/arti转载 2014-11-03 15:16:27 · 377 阅读 · 0 评论 -
windows Eclipse远程连接linux hadoop2.3.0伪分布式
程序为hadoop2.3.0中的wordcount源码import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop原创 2014-11-06 10:43:35 · 841 阅读 · 0 评论 -
windows上使用eclipse远程连接hadoop问题2 -Permission denied:user 问题
这个错误有些蹊跷,因为我已经在map/reduce locations中配置了用户名是hadoop(hadoop就是我linux上运行hadoop集群的用户名),不知道它为什么还是以Administrator用户身份来方位hadoop的,解决办法如下:问题原因:本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。解决办法:转载 2014-05-08 15:58:21 · 1425 阅读 · 0 评论 -
hadoop2.3.0伪分布式可用的配置文件内容
core-site.xml: fs.defaultFS hdfs://192.168.0.7:9000 true io.file.buffer.size 131072原创 2014-11-06 10:21:50 · 401 阅读 · 0 评论 -
hadoop2.3.0 datanode启动后消失
错误:单独启动datanode和namenode可以单独启动resourcemanager后datanode消失。原创 2014-11-04 17:09:37 · 1278 阅读 · 0 评论 -
Eclipse打包mapreduce程序并提交至hadoop集群运行
在命令行里能够将程序运行在hadoop集群环境后,原创 2014-11-07 09:20:05 · 4996 阅读 · 1 评论 -
hadoop-2.3.0运行wordcount程序
用hadoop自带的wordcount程序运行检测原创 2014-11-05 09:07:54 · 379 阅读 · 0 评论 -
hadoop命令行运行wordcount程序 web端监控不到作业状态
在命令行或者是Eclipse远程连接运行Wordcount程序后,在页面8088端口号监控,始终没有变化,显示application为空。修改集群配置文件yarn-site.xml,加上如下几句: mapreduce.framework.name yarn重启运行wordcount,页面有作业显示,如下但是作业运行失败,报错:14/1原创 2014-11-06 21:04:45 · 11300 阅读 · 3 评论 -
mapreduce编程模型学习--1
mapreduce适用的场景具有共同特点:任务能被分解为相互独立的子问题,原创 2014-05-05 09:38:15 · 476 阅读 · 0 评论