Hadooop
香山上的麻雀1008
大数据
展开
-
HDFS 报错笔记
单纯为了记录一下 Failed to close HDFS file: hdfs://nameservice1/user/hive/warehouse/xxx.db/xxx/_impala_insert_staging/fa4602d41f654358_eb936b0c00000000/.fa4602d41f654358-eb936b0c00000049_707658236_dir/dt=2021-08-17/fa4602d41f654358-eb936b0c00000049_390887387_.原创 2021-08-18 13:54:02 · 1165 阅读 · 0 评论 -
could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node
问题描述 在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。 解决方案 网上看到的类似的解决方案有以下两种: 但我这里都不是。 我这里的原因是hdfs空间被占满了,而hive在执行的时候会往/tmp下读写大量的临时数据,由于没有空间而报错。 默认情况下,hive脚本执行完之后会自动清理掉这些临时文件。 这里之所以出现/tmp下大量文件没被清理,是因为之前自己有多次没等hive脚本执行完就Ctrl +c掉了,所以有大量临时文件未清理。 因此,最转载 2021-07-14 17:34:29 · 959 阅读 · 0 评论 -
HDFS上小文件合并
hdfs dfs -cat /user/hive/warehouse/test.db/tmpdata/* | hdfs dfs -put - /user/hive/warehouse/test.db/tmpfile原创 2021-03-23 17:59:46 · 480 阅读 · 0 评论 -
CDH中yarn的动态资源池的相关配置
CDH Yarn资源队列划分管理 场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的 CDH版本:5.x 配置: 1 yarn资源队列参数设置: (1)yarn.scheduler.fair.user-as-default-queue false 解释:当设置为 true 时,如果未指定池名称,Fair Scheduler 将会使用用户名作为默认...原创 2019-06-11 07:48:33 · 790 阅读 · 1 评论 -
HDFS的数据流读写流程
知识梳理: hdfs的写数据流程 1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 2)NameNode返回是否可以上传。 3)客户端请求第一个 Block上传到哪几个DataNode服务器上。 4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。 5)客户端通过FSD...原创 2019-04-16 19:46:32 · 323 阅读 · 0 评论 -
HDFS的Block数据balancer重分布实战
Hadoop的HDFS集群在使用一段时间后,各个DataNode节点的磁盘使用率肯定会出现不平衡的情况,也就是数据量层面的数据倾斜,如图:引起这种情况的方式很多:1. 添加新的Datanode节点2. 人为干预将数据的副本数降低或者增加 我们都知...原创 2019-04-26 19:16:57 · 977 阅读 · 0 评论 -
Hadoop小文件优化
先来了解一下Hadoop中何为小文件:小文件指的是那些文件大小要比HDFS的块大小(在Hadoop1.x的时候默认块大小64M,可以通过dfs.blocksize来设置;但是到了Hadoop 2.x的时候默认块大小为128MB了,可以通过dfs.block.size设置)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而...原创 2019-05-05 16:46:23 · 442 阅读 · 0 评论 -
Hadoop小文件存储方案
HDFS总体架构 在介绍文件存储方案之前,我觉得有必要先介绍下关于HDFS存储架构方面的一些知识,在对架构有初步了解后,才会明白为什么要单独针对小文件展开介绍,小文件存储和其它文件存储区别在什么地方。 这里我只是就Hadoop生态中的存储层展开介绍,对于其它部分本文暂未描述。众所周知,HDFS是目前非常流行的分布式文件存储系统,其逻辑架构如下图所示: HDFS也是典型的Master/Slave结...原创 2019-05-05 16:52:19 · 589 阅读 · 0 评论