- 博客(6)
- 收藏
- 关注
RSS订阅原创 【hadoop】FileInputFormat中getSplits()方法
Mapreduce是hadoop的并行计算框架。框架可以分为maptask，shuffle和reducetask阶段。在maptask阶段，会根据Driver中关于InputFormat的Job配置信息对整个文件进行切分，根据切片文件数量，分配同等数量的maptask。然后根据“规则”读取切片文件，并以key-value的形式写入到环形缓冲区。默认的切分、读取由TextInputFormat类...
2020-04-10 08:27:03
720
原创 【Hadoop】HDFS小文件处理
为什么需要在HDFS中处理小文件？（为什么HDFS不适合处理大量的小文件）在HDFS中，每一个block，文件夹或者目录都占用150字节的内存。无论为一个block的大小为1KB或者128MB，都将占用128MB的内存。在HDFS中存储大量的小文件意味着Namenode中需要存储大量的block元数据。由于Namenode的内存是有限的，在集群中存储大量的小文件可能导致内存很快被消耗完。在m...
2020-04-08 17:13:17
294
原创 【Hadoop】HDFS储存(写)文件的方式
HDFS存储文件的方式：step1：客户端向Namenode服务器发送申请，请求写文件到HDFS的目标路径下step2：Namenode验证客户端权限和HDFS中的目标路径是否合理。若允许写入，返回信息给客户端step3：客户端将文件切分为一个个block块（block0，block1，…）step4：客户端向Namenode申请传输block0，Namenode返回分配给block0的D...
2020-04-07 23:54:48
369
原创 【Java】intellij加载配置文件的方法
首先在src目录下新建File文件，格式：文件名.properties配置文件中，使用key = value的形式保存host = 127.0.0.1port = 6379user = Luke在类中加载函数，方法一 ：ResourceBundle.getBundle()class Demo{ public static void main(String[] args){ ...
2020-03-18 02:17:34
169
原创 【Java】外部类和内部类的相关调用方式总结
一、外部类调用内部类的成员外部类(通过成员方法)调用内部类的成员，但是有两点需要注意：成员方法是静态时(如主函数)，不能访问非静态内部类；非静态内部类中不能包含静态成员。public class Outer { class Inner1 { void show() { System.out.println("Inner1"); }...
2020-03-03 11:32:43
828
原创 【Java】子类的构造函数什么时候需要加 super();
首先，明确一点，super(); 不是必须的。那么，什么时候需要在子类的构造函数上添加 super(); 呢？1.当父类存在无参数构造函数时，JVM (我安装的是JDK1.8) 会在子类的构造函数中自动添加隐式的 super();，在注释的位置。因此，无需手动添加 super(); 。class Super{ Super(){ System.out.println("Super"); ...
2020-03-03 07:44:07
1303
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人