Hadoop
Yt_Sports
这个作者很懒,什么都没留下…
展开
-
HDFS的运行原理
简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大转载 2015-12-11 13:35:09 · 446 阅读 · 0 评论 -
一只笨鸟在实现ssh免密码登录的足迹
自太阳从东边升起以来,我就发现每逢我在电脑上安装配置些东西的时候,都会来点小插曲。这是故意整我吗?好了,上我从头给大家说说实现ssh免密码登录。我是以root身份来登录的。在用ssh登录别的服务器时,你得先知道,你也可以连接本机(localhost或者127.0.0.1)。一定要跟着以下步骤,包括目录的权限也要和我的一致哦!不一致就会连不上,本人被这个坑了好久!前提ssh已经安装(原创 2015-12-16 14:55:44 · 558 阅读 · 0 评论 -
在配置hadoop集群时常用到的基本命令
1.解压文件到指定目录tar -zxvf ./text.tar.gz -C /home/app/test/将text.tar.gz 解压到 /home/app/test/ (绝对路径)下2.创建目录及子目录:mkdir - p {filename1,filename2,filename3,filename4}(文件名)实现。3.远原创 2015-12-17 14:49:50 · 420 阅读 · 0 评论 -
Linux下配置hadoop2.2.0集群
本文所涉及的Linux系统均为Ubuntu!首先,准备必备的一些软件安装包。1.下载jdk1.6,下载链接为http://pan.baidu.com/s/1sk4U1Yl 2.下载hadoop2.2.0.tar.gz,下载链接为http://pan.baidu.com/s/1mh4yXpI3.下载Ubuntu,下载链接:http://pan.baidu.com/s/1numLYH原创 2015-12-17 18:15:14 · 509 阅读 · 0 评论 -
hadoop2 no datanode to stop
我的 no datanode to stop和别人的不一样,别人的大概都是pid放到了/tmp的目录下,被回收导致的,导致无法结束datanode进程,只能kill。而我的是在slave机器上可以看到master结束了datanode进程,但是在master执行./sbin/stop-all.sh时显示no datanode to stop。最后发现原因是,master格式化了nameno原创 2015-12-24 17:12:24 · 561 阅读 · 0 评论