hadoop
文章平均质量分 75
cybercode
这个作者很懒,什么都没留下…
展开
-
cygwin安装sshd服务并实现无密码登录
这篇文章主要是为我在win7(64位)下搭建hadoop环境所准备的。首先参照在cygwin使用总结这篇文章在cygwin中安装所必须得软件包,然后如下进行操作:sony@sony-VAIO~ $ ssh-host-config*** Info: Generating /etc/ssh_host_key*** Info: Generating /etc/ssh_host_rsa_key原创 2011-12-17 21:58:55 · 19719 阅读 · 5 评论 -
eclipse hadoop开发环境配置
win7下安装hadoop完成后,接下来就是eclipse hadoop开发环境配置了。具体的操作如下:一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单,haoop-0.20.2自带一个eclipse的插件,在hadoop目录下的 contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar,把这个文件copy到ecl原创 2011-12-19 16:12:45 · 37141 阅读 · 12 评论 -
cygwin使用总结
由于资源有限,只能用自己的破机器学习hadoop。在win7下用cygwin来搭建和学习hadoop,会出现各种诡异的问题,在这里就先总结下cygwin的使用方法: 在装完cygwin后我们一般将它添加到win7系统环境变量PATH中:D:\cygwin\bin;D:\cygwin\usr\sbin; 在cygwin中开启停用删除服务的命令:开启服务: $ net star原创 2011-12-17 21:45:07 · 12491 阅读 · 1 评论 -
编译hadoop-0.20.2的eclipse-plugin插件
hadoop-0.20.2自带的eclipse-plugin对版本在3.3以上的eclipse不起作用,在eclipse hadoop开发环境配置中,我用的是第三方编译的eclipse插件,但它也有可能在你的电脑上不起作用,所以自己会编译hadoop-0.20.2的eclipse-plugin很有必要。在编译eclipse-plugin之前,需要安装apache-ant,apache-ivy。原创 2011-12-21 15:51:44 · 5756 阅读 · 0 评论 -
win7下安装hadoop
先前已经通过cygwin使用总结和cygwin安装sshd服务并实现无密码登录搞定了cygwin,接下来就是正式安装hadoop了(注意这里是单节点的伪分布式)。环境及软件准备:win7(64位)cygwin 1.7.9-1jdk-6u25-windows-x64.ziphadoop-0.20.2.tar.gz 1.安装jdk,并置java环境变量包括:JAVA_HOM原创 2011-12-18 14:56:16 · 20400 阅读 · 9 评论 -
hadoop学习步骤
接触了一段时间的hadoop之后,我感觉这东西挺有意思的,并想进一步深入的学习下hadoop。但是以我现在的水平来入门hadoop确实有点不太容易,所以自己先定个明确的学习步骤,期望能达到事半功倍的效果吧。具体学习步骤如下:1、读书Hadoop the Definitive Guide (2nd edition) --权威指南2、看代码最基本的就是wordcount,更直接原创 2011-12-17 21:00:22 · 2836 阅读 · 0 评论 -
hadoop的简单了解
Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 它是原Yahoo的Doug Cutting根据Google发布的学术论文研究而来。现在,Doug Cutting在Cloudera公司。Cloudera的Hadoop是商用版。不同于Apache的开源版。如果要研究Hadoop的话,在下载转载 2011-08-23 19:09:51 · 1221 阅读 · 0 评论 -
hadoop基本操作命令小结
eclipse hadoop开发环境配置已经搞定,接下来就是开发hadoop程序了。但在这之前熟悉下hadoop的基本操作命令非常有必要,以下就先简单的小结下:启动和关闭Hadoop 启动Hadoop 1.进入HADOOP_HOME目录。 2.执行bin/start-all.sh 关闭Hadoop 1.进入HADOOP_HOME目录。 2.执行bin/stop-all.原创 2011-12-19 18:51:44 · 7497 阅读 · 1 评论