大数据/Hadoop
向阳争渡
这个作者很懒,什么都没留下…
展开
-
Hadoop---NameNode详解
介绍NameNode主要维护两个文件:一个是fsimage,一个是editlog.原创 2017-12-20 16:46:36 · 585 阅读 · 0 评论 -
Hadoop中的HDFS的存储机制
Hadoop中HDFS的存储机制HDFS(Hadoop Distributed File System)是Hadoop分布式计算中的数据存储系统,是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念,然后介绍HDFS中读写操作的过程,最后分析了HDFS的优缺点。转载 2017-12-20 16:07:09 · 1512 阅读 · 0 评论 -
MapReduce原理及性能调优
MapReduce原理及性能调优原创 2017-12-20 18:16:23 · 920 阅读 · 0 评论 -
MapReduce TopN问题
利用MapReduce如何实现类似Wordcount的TopN问题原创 2017-12-21 17:34:57 · 684 阅读 · 0 评论 -
Hadoop 2.6.4 分布式搭建
Hadoop 分布式搭建原创 2017-12-22 16:22:32 · 249 阅读 · 0 评论 -
Mapreduce与Yarn 原理分析
MapReduce 与 YARN原创 2017-12-23 21:21:35 · 577 阅读 · 0 评论 -
windows 实现本地Eclipse远程调试MapReduce
Windows 本地Eclipse远程调用MapReduce原创 2017-12-22 13:51:52 · 628 阅读 · 0 评论 -
大数据面试集锦---Hadoop篇
新手大数据开发一枚,之前也做了一些MR、Spark、Storm的项目,但是有些框架本身的东西还不是很懂,毕业季找工作,就顺手整理一些东西。希望在这个过程中能把只是融会贯通。不会很细的去面面俱到的写框架,只会写一写自己遇到的问题。 HDFS的设计思想(1)一次写入,多次读取 (2)hdfs是对搞数据吞吐量优化的,以提高时间延时为代价 (3)namenode存储着文件系统的元数据...原创 2018-03-25 22:39:02 · 468 阅读 · 0 评论