Hadoop
文章平均质量分 77
David宫洪深
Java开发 前端开发
展开
-
Exception from container-launch: ExitCodeException exitCode=1:
在运行yarn 的时候 进行demo学习 结果一个很正常的 bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/output 这个wordcount 命令出现 错误 Exce原创 2017-07-24 22:50:25 · 2921 阅读 · 0 评论 -
hadoop 关闭时报 no namenode/nodemanager/XXXX to stop
hadoop 关闭时报 no XXXX to stop原创 2017-10-18 10:30:23 · 9949 阅读 · 0 评论 -
学习hadoop-远程链接 HDFS
使用javaAPI的方式远程链接HDFS 首先项目进行maven管理 我这边使用的hadoop是2.5.0 进行学习 远程在win上面使用ide开发工具进行链接hadoop 首先创建maven工程 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20原创 2018-01-15 11:09:37 · 3264 阅读 · 0 评论 -
学习hadoop-读取hdfs上面的文件
获取hdfs上面的文件 首先进行远程链接 具体在 http://blog.csdn.net/qq_36020545/article/details/79062200 有介绍 首先在hadoop hdfs上面看看文件数据 bin/hdfs dfs -text /user/davidghs/mapreduce/wordcount/input/wc.input 进行远程连后获取到原创 2018-01-15 14:59:19 · 2526 阅读 · 0 评论 -
NameNode启动
NameNode 是存储整个文件系统的源数据 (文件块目录) 数据存储在 ->缓存 ->本地磁盘 ->fsimage(镜像文件:HDFS文件系统存于硬盘中的元数据检查点,里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息) ...原创 2018-02-26 10:44:53 · 757 阅读 · 0 评论 -
hadoop hdfs 的安全模式 SafeMode
在NameNode启动的时候会开启安全模式 SafeMode等待 DataNode 想它发送状态,检查块的完整性假设我们设置副本数为(dfs.replication) 5 ,那么DataNode 上就应该存在5个副本,假设副本只有3个那么和最小副本率(dfs.safemode.threshold.pct 默认是0.999f)进行对比0.6 小于 0.999,因此系统会复制副本到其他的DataNod...原创 2018-02-26 14:45:45 · 705 阅读 · 0 评论