云计算\hadoop
peilw625311
工作在一家软件公司
展开
-
Hadoop操作
./hadoop dfs -cat output/* ./stop-all.sh ./start-all.sh ./start-dfs.shhadoop namenode -formatssh-keygen -t dsa#cat .ssh/id_rsa.pub >> .ssh/authorized_keys //登录本地不需密码;#scp .ssh/id_ds原创 2012-02-01 09:49:16 · 426 阅读 · 0 评论 -
hadoop 配置中常见问题记录
问题1、jobtracker.info could only be replicated to 0 nodes, instead of 1 错误解决 通过搜索,大部分说是防火墙问题,于是我就关闭了防火墙,把系统的防火墙都关掉了,删除格式化时生成的文件,及运行是的tmp文件,然后重新格式化,再次执行start-all.sh命令,可以了问题2、The authenticity of原创 2012-02-01 09:39:08 · 581 阅读 · 0 评论 -
ssh免账号登陆
1、在当前用户目录下建立.ssh目录,生成key mkdir ~/.ssh ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa2、保存认证键值到authorized_keys文件 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys3、改变.ssh下文件属性,以及.ssh/authorize原创 2012-02-01 09:51:59 · 1759 阅读 · 0 评论 -
MyEclipse 配置 Hadoop 插件
1、找到Hadoop Eclipse Plugin 插件 jar包我的具体位置在:D:\softInstall\hadoop-0.20.3-dev-eclipse-plugin.jar2、找到MyElipse安装目录,将刚才复制的插件放到目录\Genuitec\MyEclipse-8.5\dropins下原创 2012-02-01 09:50:41 · 2713 阅读 · 1 评论 -
hadoop命令
hadoop dfs -rmr in 删除hdfs文件系统中in文件夹hadoop dfs -put input in 拷贝当前input目录下的文件到in文件夹hadoop dfs -cat out/* 查看hdf文件系统中out文件夹下的文件hadoop dfs -ls 查看目录文件hadoop jar xxx.jar 主方法名 参数 运行程序原创 2012-02-01 09:51:23 · 462 阅读 · 0 评论