关闭

windows下eclipse开发hadoop的坑

hadoop的版本很重要,不同的版本,报错不同 报错:org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.hdfs.DistributedFileSystem not a subtype解决: Because hdfs schema is registered in hadoop-hdfs.jar, so you can’t j...
阅读(75) 评论(0)

yarn

http://www.tuicool.com/articles/Rf6v6j http://blog.csdn.net/lsp1991/article/details/49427407...
阅读(264) 评论(0)

集群问题

在无法启动的节点上单独启动./yarn-daemon.sh start resourcemanager8088端口,active的节点使用standby节点的主机名:端口访问 standby节点使用active 的ip:端口访问...
阅读(249) 评论(0)

hadoop 端口

http://www.zhixing123.cn/ubuntu/40649.html...
阅读(103) 评论(0)

hdfs 使用

磁盘写满: http://qindongliang.iteye.com/blog/2091989 http://www.linuxidc.com/Linux/2015-02/113638.htm http://www.125135.com/949815.htmlhdfs参数: http://m.blog.csdn.net/article/details?id=51190839hadoop本地...
阅读(236) 评论(0)

hadoop 集群调优

查看hdfs 大小 hdfs dfs -df -h刷新集群: hadoop dfsadmin -refreshNodes一定要设置负载均衡 ./start-balancer.sh -threshold 1参考: http://www.cnblogs.com/BYRans/p/5128162.html http://www.ibm.com/developerworks/cn/data/lib...
阅读(423) 评论(0)

hadoop集群删除节点

http://www.aboutyun.com/thread-7532-1-1.html /letv/data/hadoop-2.6.0/bin/hadoop dfsadmin -refreshNodes...
阅读(151) 评论(0)

hadoop集群搭建

查看系统是64位还是32位:file /sbin/init 查看hadoop版本 hadoop version检查ssh server:ps -e | grep ssh 查看ssh服务有没有运行,如果有,可以看到类似以下内容: 2254 ? 00:00:00 sshd 若没有则安装ssh server: root]#/etc/rc.d/...
阅读(280) 评论(0)

Hadoop

Hadoop:分布式系统基础架构 HDFS(分布式文件系统) 配置的位置: /letv/data/hadoop-2.6.0/etc/Hadoop 配置hdfs-site.xml: hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM(Qurom Journal Manager)。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组Jour...
阅读(365) 评论(0)
    个人资料
    • 访问:23354次
    • 积分:949
    • 等级:
    • 排名:千里之外
    • 原创:57篇
    • 转载:88篇
    • 译文:0篇
    • 评论:0条
    文章分类
    阅读排行