hadoop
文章平均质量分 65
星月菩提
我辈既务斯业便当专心用功
展开
-
搭建hadoop环境遇到的问题
问题1:jdk版本太低导致执行bin/hadoop jar hadoop-0.20.0-examples.jar wordcountinput-dir output-dir报错 Administrator@ser2003/cygdrive/d/hadoop-0.20.0 $ bin/hadoop jar hadoop-0.20.0-examples.jarwordcount input-dir原创 2013-08-03 23:05:46 · 1306 阅读 · 0 评论 -
hadoop和hbase节点添加和单独重启
有时候hadoop或hbase集群运行时间久了后,某些节点就会失效,这个时候如果不想重启整个集群(这种情况在很多情况下已经不被允许),这个时候可以单独重启失效节点。 HADOOP: hadoop中重启单节点的方法和增加新节点其实是一样的。 1、我们先看下如何了解hadoop机器的情况,可以用命令: hadoop dfsadmin -report 查看集群容量情况,很多情况下失效节点也可转载 2013-09-05 11:54:05 · 1047 阅读 · 0 评论 -
hadoop-0.20.0分布式部署
1. 前言 Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。在本文档中,详细介绍了如何部署Hadoop 分布式运行环境,如何让程序分布式运行于多台普通的计算机上等内容(在这里用的是VMware虚拟的linux系统)。而hadoop又分为单机(非分布式)原创 2013-08-03 22:59:24 · 1123 阅读 · 0 评论 -
hadoop环境搭建准备工作之一:安装JDK(linux)
下载JDK(jdk1.7.0_45) 下载地址为:http://pan.baidu.com/share/link?shareid=1744393420&uk=336215391&fid=2600365656 1.解压安装文件:tar -xzvf jdk-7u45-linux-x64.tar.gz,解压后得到 jdk1.7.0_45 文件夹; 2.将其移动到/usr/local/(原创 2014-03-18 11:42:52 · 712 阅读 · 0 评论 -
failed in state INITED; cause: java.lang.IllegalArgumentException: Does not contain a valid host:por
2013-11-04 09:42:43,405 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in state INITED; cause: java.lang.IllegalA转载 2014-05-09 15:58:14 · 2746 阅读 · 0 评论