hadoop
文章平均质量分 75
liuhongJAVAEn
try{}catch(Exception){}finally{这里面就是程序人生!}
展开
-
Windows下基于Eclipse的Hadoop开发环境完全配置(三) .
2009-08-23 13:48 2499人阅读 评论(2)收藏 举报 启动Eclipse,右键点击 Project Explorer 窗口,选择 New -> Project.. 找到Map/Reduce Project, 点Next ,输入名字。点击下面的Config Hadoop Install Directiory,输入Hadoop的目录,如:C:/cygwi转载 2012-01-07 21:22:06 · 679 阅读 · 0 评论 -
在VMWare Workstation8.0上使用ubuntu11安装和配置Hadoop群集环境04_WordCount示例
① 运行框架自带的wordcount示例 ② 在192.168.1.61虚拟机中建立两个输入文件input1和input2③ HDFS中建立一个目录input④ 拷贝input1和input2两个文件到HDFS的input目录中 ⑤ 运行wordcount程序 ⑥ 查看运行结果 至此全部成功,那么恭喜整个Hadoop框架成功搭建转载 2013-07-07 11:54:49 · 1169 阅读 · 0 评论 -
在VMWare Workstation8.0上使用ubuntu11安装和配置Hadoop群集环境03_hadoop的安装
将hadoop-0.21.0.tar.gz通过SSH Secure File Transfer Client上传到usr目录下1、修改/usr/hadoop-0.21.0/conf/目录下的master文件,内容如下:192.168.1.616、修改/usr/hadoop-0.21.0/conf/目录下的slaves文件,内容如下:192.168.1.62192.1原创 2013-07-07 11:45:09 · 1202 阅读 · 0 评论 -
在VMWare Workstation8.0上使用ubuntu11安装和配置Hadoop群集环境01_jdk的安装 .
写这个文章之前,我已经在这个搭建环境的问题上纠结了将近好几个月,首先因为条件要多个电脑,还有就是经常的报错,再加上平时比较忙碌。好不容易这几天有空,在网上查了很多资料,没有哪个资料详细说明了怎样在VMWare Workstation中搭建Hadoop群集环境的,所以本人就自己边学习边做边研究,终于成功把Hadoop框架搭建在VMWare Workstation软件中。现在把整个搭建过程写下来,原创 2013-07-07 11:18:43 · 1268 阅读 · 0 评论 -
hbase-0.90.5单节点安装
Hadoop+HBase 伪分布式安装配置(一)hadoop伪分布式的配置: 这个也可以参考《hadoop权威指南》上面写的很全面,这里再说一遍: 我的机器配置环境: OS:Ubuntu10.10 ,hadoop版本:hadoop-0.20.2(下载网址: http://apache.etoak.com//hadoop/common/hado转载 2012-10-13 00:09:22 · 1599 阅读 · 0 评论 -
Hadoop错误汇总(更新中)
2012-05-24 13:40727人阅读评论(0)收藏举报1.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenodenamesp转载 2012-10-13 14:39:53 · 2249 阅读 · 1 评论 -
cygwin connection closed by ::1
Cygwin 1.7.1版本ssh问题解决办法一在安装好Cygwin 1.7.1后,进入Cygwin会遇到mkpasswd和mkgroup提示,强行做ssh配置,执行sshlocalhost会报connection closed by 127.0.0.1。运行下面两行命令:mkpasswd -l -c > /etc/passwdmkgroup -l -d > /原创 2012-10-10 20:29:24 · 7543 阅读 · 0 评论 -
[转载]cygwin sshd服务启动不了的解决方案
原文地址:sshd服务启动不了的解决方案" href="http://blog.sina.com.cn/s/blog_6a00518c0100rc98.html" target="_blank">cygwinsshd服务启动不了的解决方案作者:tennessee3waltz问题起源:BTS PC机(windows)无法通过pscp命令去Wireshark PC机(windows)拷转载 2012-10-10 19:18:08 · 5256 阅读 · 0 评论 -
cywin 下jps command not found
今天在cywin下查看进程,使用命令jps,可是却提示找不到命令,这条命令是在jdk下的bin目录下的一个可执行文件,我查看了一下我的jdk目录,发现有jps可执行文件,但是只是没有放在环境变量里面而已,环境变量可以通过etho $PATH命令查看。所以就要自己加上去,以ssh身份vi /etc/profile,然后在下面加一行PATH="/cygdrive/c/java_jdk1.7/j原创 2012-02-22 11:07:42 · 2601 阅读 · 0 评论 -
cygwin运行常见问题(二)
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/admin/joe.wangh/hadoop/data/dfs.data.dir: namenode namespaceID = 898136669; datanode na原创 2012-02-13 11:31:06 · 1837 阅读 · 0 评论 -
hadoop常见错误
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。/etc/security/limits.confvi /etc/转载 2012-02-14 09:26:20 · 1291 阅读 · 0 评论 -
cygwin运行常见问题(cygwin warning:MS-DOS style path detected: )
cygwin 1.7 release一月 5th, 2010 at 11:27 (日新月異)很久沒寫軟體相關的東西,不過年前(2009年12月)正式釋出的cygwin 1.7值得一提cygwin是win32底下最完整的一套posix環境,雖然compile速度和為數不少的bug一直為人所垢病,但是在win32底下如果沒有它,恐怕很多事還做不了。cygwin 1.7是在1.5之後转载 2012-02-13 10:43:01 · 16953 阅读 · 2 评论 -
Windows下基于Eclipse的Hadoop开发环境完全配置(二)
接下来开始配置Hadoop了,一,解压文件 打开一个cygwin,输入以下命令 cd . explorer .会弹出一个新窗口,把原来下载的hadoop压缩文件放到里面,并解压。个人认为,其实不一定要放到cygwin的用户根目录下,没试过。二,配置Hadoop 打开解压出来的文件夹,在 hadoop-0.19.2/conf 目录下有一个 hadoop转载 2012-01-07 21:21:23 · 599 阅读 · 0 评论 -
Windows下基于Eclipse的Hadoop开发环境完全配置(一)
网上搜了一些中文的,总是只有一小部分,对于我们这些菜鸟来说,根本没发用,更可恶的是,搜到的内容都是一样的,哎,抄来抄去,估计都没试过到底能不能用就贴上去了。后来找了一个英文的:http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html 非常的全面,一步一步的教,我这翻译一下大致的步骤。一,准备 Java 1.6 Ecl转载 2012-01-07 21:19:51 · 669 阅读 · 0 评论 -
在VMWare Workstation8.0上使用ubuntu11安装和配置Hadoop群集环境02_配置虚拟机之间SSH无密码登录
Ubuntu配置SSH免密码登陆1. 安装SSH:$ sudo apt-get install ssh2. 查看是否生成目录.ssh:$ ls -al /home/xsj/3. 如果没有,手动创建目录.ssh:$ mkdir /home/xsj/.ssh4. 生成公、私密钥:$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_d原创 2013-07-07 11:30:37 · 1273 阅读 · 0 评论