HDFS
花掏尽
老老实实,勤勤恳恳,继续努力(=^ ^=)
展开
-
beeline 执行数据导入load data报错No files matching path
问题: 记录一次Hive导入数据找不到文件的错误 load data local inpath '/data/test/ftp/test.txt' into table test; FAILED: SemanticException Line 1:23 Invalid path ''/data/test/ftp/test.txt'': No files matching path file:/data/test/ftp/test.txt 报错找不到文件,确定当前机器确...原创 2020-06-04 07:04:59 · 3710 阅读 · 0 评论 -
HDFS中block块的放置策略、HDFS读写文件的流程、HDFS常用的命令
6、Block放置策略– 第一个副本:集群内部提交放置在上传文件的DN;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点。– 第二个副本:放置在于第一个副本不同的机架的节点上。– 第三个副本:与第二个副本相同机架的不同节点。– 更多副本:随机节点,不重复的7、请描述一下HDFS的读、写流程(具体说一下ack)读的流程1.首先调用file...原创 2019-03-31 10:59:41 · 1067 阅读 · 0 评论 -
HDFS的架构、优缺点、文件的切分和存放、secendryNameNode为什么不是备份
1、HDFS架构包括什么?HDFS(Hadoop Distribute FileSystem)分布式文件存储系统。它易于扩展的分布式文件系统,而且运行在大量廉价机器上,并且提供容错机制为大量用户提供性能不错的文件存取服务NameNode -- NameNode主要功能: 1、接受客户端的读/写服务。 2、接受DN汇报的block位...原创 2019-03-31 10:56:17 · 508 阅读 · 0 评论 -
HDFS HA 过程、架构、zookeeper如何实现自动故障转移
1)HDFS HA 之所以有这么方案,是因为在hadoop1中的hdfs中只存在1个namenode,当namenode出现故障时,整个集群都会受到影响甚至歇菜,所以hadoop在2.0以后推出了HA方案。2)这个方案准备了2个namenode,一个active的namenode和一个standby的namenode,active的负责所有对外操作,standby的只是作为一个备份,当acti...原创 2019-08-11 11:11:40 · 636 阅读 · 1 评论