- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hadoop的默认块大小是多少？为什么要设置这么大？
默认块大小：Hadoop2.7.2版本及之前默认64MB，Hadoop2.7.3版本及之后默认128M块大小：HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置，而且NameNode需要大量内存来存储元数据，不可取。如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。块的大小：10m
2022-06-16 22:52:06
3365
1
原创 Hadoop基本组成
Hadoop基本组成Hadoop主要分哪几个部分？他们有什么作用？可回答：1）Hadoop的组件有哪些；2）Hadoop原理Hadoop主要组件如上图，主要是HDFS、MapReduce、YARN、CommonHDFSHDFS是一个文件系统，用于存储文件，通过目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。MapReduceMapReduce是一
2022-05-28 13:53:16
624
原创 java面试
java面试知识库1.java基础知识覆盖常考点，有些太基础的没有写，核心考点都在这1.String、StringBuffer、StringBuilder的区别String是不可变的，如果尝试去修改，会新生成一个字符串对象，StringBuffer和StringBuilder是可变的StringBuffer是线程安全的，StringBuilder是线程不安全的，所以在单线程环境下StringBuilder效率会更高String是final修饰的，不可变，每次操作都会产生新的String对象St
2022-05-23 10:10:08
109
原创 详解窗口函数 面试必备
详解窗口函数 面试必备窗口函数常用函数方法row_number() over(partition by … order by …)：排序1-2-3-4-5rank() over(partition by … order by …)：排序 1-1-3dense_rank() over(partition by … order by …)：排序 1-1-2-3count() over(partition by … order by …)：求分组后的总数。max() ove
2022-05-16 14:10:59
520
原创 关于Hadoop基础理论
关于Hadoop基础理论Hadoop是什么Hadoop是一个分布式系统基础架构，主要是为了解决海量数据的存储和海量数据的分析计算问题。Hadoop核心组件说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce（同时处理业务逻辑运算和资源的调度），Common（辅助工具，为其它Hadoop模块提供基础设施）；Hadoop2.x和Hadoop
2022-05-07 15:35:21
870
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人