![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据面试
文章平均质量分 93
Xcoder。
分享大数据学习历程
展开
-
hadoop08-HDFS的写数据流程(源码)
其实这个流程里面有很多我们值得学习的东西,比如写数据到 DataNode,如何保障数据一致性,如何保障数据在写的时候不丢失,重试如何做的,如何做三备份的?那么这次咱就趴一趴 HDFS 的写数据流程吧。二、往 HDFS 写数据的客户端代码我们用 HDFS 的 api ,从一个写数据的代码开始剖析这个过程:public class TestWriteHdfsFile { public static void main(String[] args) throws IOException {原创 2021-04-18 21:38:57 · 255 阅读 · 0 评论 -
Hadoop总结-阶段面试题(持续更新)
Hadoop阶段面试题HDFSMapReduce1.介绍一下 MR 的工作原理MapTask的工作机制read:通过RecordReader,从输入的InputSplit中解析出一个个kv假设待处理文件/user/input/ss.txt为200m(hadoop默认切片与分块大小为128M)切片大小实现:computeSplitSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M客户端在提交submit前现获原创 2021-04-18 15:23:01 · 449 阅读 · 0 评论 -
大数据开发java面试题
java基本概念1.如果main方法被声明为private会怎样?能正常编译,但运行的时候会提示”main方法不是public的”。2.Java里的传引用和传值的区别是什么?传引用是指传递的是地址而不是值本身,传值则是传递值的一份拷贝。引用作为实参能被修改,传值则不影响原来的值3.Java的”一次编写,处处运行”是如何实现的?Java程序会被编译成字节码组成的class文件,这些字节码可以运行在任何平台,因此Java具有跨平台性。4.说明一下public static void原创 2021-03-18 16:30:05 · 672 阅读 · 1 评论