![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 78
脚本小子
脚本小子
展开
-
Hadoop学习总结之二:HDFS读写过程解析
一、文件的打开1.1、客户端HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为:public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDat原创 2012-04-17 13:59:37 · 1123 阅读 · 0 评论 -
Hadoop 学习总结之一:HDFS简介
原创 2012-04-17 13:43:48 · 704 阅读 · 0 评论 -
面试hadoop
1、hadoop运行的原理?2、mapreduce的原理?3、HDFS存储的机制?4、举一个简单的例子说明mapreduce是怎么来运行的 ?5、面试的人给你出一些问题,让你用mapreduce来实现? 比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。6、hadoop中Combiner的作用?7.如何确认原创 2012-04-17 13:31:32 · 2157 阅读 · 0 评论 -
数据分析不使用Hadoop的五大理由
我一度是Hadoop的忠实拥护者。我喜欢它可以轻而易举地处理PB级别的数据,喜欢它可以将运算扩展到数千个节点的分布式计算能力,也喜欢它存储和加载数据的灵活性。但在经历过一系列的探索与使用之后,我对Hadoop非常失望。下面就是我为什么不使用Hadoop做数据分析的见解。Hadoop只是一个框架,而非一种完备的解决方案。人们期望Hadoop可以圆满地解决大数据分析问题,但事实是,原创 2012-04-20 09:28:46 · 1150 阅读 · 0 评论