![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Hadoop内容记录
不要踩井盖儿
这个作者很懒,什么都没留下…
展开
-
HDFS的javaAPI使用
工作中做资源服务器时用到了HDFS作为资源底层存储,记录一下使用的APIpublic class HdfsUtil { private static final Logger logger = LoggerFactory.getLogger(HdfsUtil.class); private HdfsUtil() { } private sta...原创 2020-01-04 20:27:23 · 140 阅读 · 0 评论 -
Hadoop基础知识
Hadoop复习回顾1. HDFS分布式文件存储系统1.1 HDFS的架构主从架构,可以配置主节点的主备架构冷备份 热备份HDFS的元数据:fsimage:元数据镜像文件,较为完整的一份元数据edits:元数据的操作日志(一小部分元数据,用作缓冲)namenode内存中存储的是:fsimage+editsSecondaryNameNdoe:定时定量合并fsimage和edit...原创 2018-10-31 15:12:44 · 485 阅读 · 0 评论 -
经典MR之WordCount
1. WordCount V1.0public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWrita...原创 2018-11-06 18:28:03 · 2276 阅读 · 0 评论