![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
记录Hadoop框架的底层细节
江湖峰哥
这个作者很懒,什么都没留下…
展开
-
hadoop常用命令
1. 查看某个目录下文件数[root@tpkm-n1:logs]# hadoop fs -count -h /topkeeerp 116 227 21.6 G /topkeeerp /topkeeerp下有116个目录 一共有227个文件 占用总大小为21.6G原创 2020-05-22 17:02:58 · 109 阅读 · 0 评论 -
Hadoop copyMerge()方法合并小文件
// Hadoop的FileUtil工具类中提供了copyMerge()方法,// 它专门用来将一个HDFS目录下的所有文件合并成一个文件并输出,其源码如下 public static boolean copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Pa...原创 2020-04-21 00:39:33 · 1684 阅读 · 0 评论 -
MapReduce windows本地提交到yarn运行
Configuration configuration = new Configuration();configuration.set("mapreduce.app-submission.cross-platform", "true");#跨平台提交configuration.set("mapreduce.framework.name", "yarn");#运行在yarn上configura...原创 2020-04-01 00:25:59 · 221 阅读 · 0 评论 -
MapReduce windows local模式运行
由于是本地模式运行,所以需要导入windows下的hadoop.dll和winutils.exe,否则将会抱错java.lang.UnsatisfiedLinkError,并且最好要配置本地HADOOP_HOME环境变量并且配置path指向%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin;代码中需要如下配置:Configuration configuration =...原创 2020-04-01 00:15:06 · 353 阅读 · 0 评论 -
Hadoop手动触发checkpoint合并元信息
[root@bigdata131:~/training/hadoop-2.8.5/tmp/dfs/name/current]# ll当前edits_inprogress_0000000000000000003并没有合并到fsimage_0000000000000000002中-rw-r--r-- 1 root root 42 3月 31 12:51 edits_0000000000...原创 2020-03-31 13:59:53 · 343 阅读 · 0 评论 -
Namenode元数据细节
Namenode会序列化文件的属性、文件块名称列表的元信息到磁盘,并不会序列化文件块的具体位置信息到磁盘原创 2020-03-31 11:20:52 · 360 阅读 · 0 评论