![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
配置文件
开始掉头发了
活到老学到老
展开
-
干货:企业Hadoop小文件解决方案!!!
1 Hadoop小文件弊端 HDFS上每个文件都要在NameNode上创建对应的元数据,这个元数据的大小约为150byte,这样当小文件比较多的时候,就会产生很多的元数据文件,一方面会大量占用NameNode的内存空间,另一方面就是元数据文件过多,使得寻址索引速度变慢。 小文件过多,在进行MR计算时,会生成过多切片,需要启动过多的MapTask。每个MapTask处理的数据量小,导致MapTask的处理时间比启动时间还小,白白消耗资源。 2 Hadoop小文件解决方案 小文件优化的方向: (1)在数原创 2020-08-14 21:11:25 · 125 阅读 · 0 评论 -
maven打包插件的pom文件!!
<!--用maven打jar包,需要添加的打包插件依赖--> <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <c.原创 2020-08-13 11:24:00 · 737 阅读 · 0 评论