Hadoop
万事无Bug
南昌大学 低调学Java
展开
-
dataX读mysql数据存入hdfs参数解析
dataX读mysql数据存入hdfs参数解析 reader参数配置信息: writer参数解析: 另附读hdfs存入mysql参数配置:原创 2021-11-02 11:14:03 · 165 阅读 · 0 评论 -
HDFS块大小
HDFS块大小 前言: HDFS文件在物理上是分块(Blokc)存储,块的大小可以使用配置参数dsf.blocksize来规定,默认Hadoop3.x 版本是128M 块大小设置原则: 寻址时间为传输时间的1%为最佳状态。 因此我们需要根据磁盘传输速率来设置块的大小! 块不能设置太小或者太大: 1、HDFS的块设置太小,会产生太多块,导致元数据信息大量增加,从而使得寻址时间增加。 2、块设置过大,从磁盘传输数据的时间会明显远大于定位这个块开始位置所需的时间,导致程序处理这段数据时,非常慢!! ...原创 2021-10-22 11:53:33 · 724 阅读 · 0 评论 -
HDFS读写数据流程
HDFS读写数据流程 一、写数据流程 1、client 向NameNode请求上传文件 2、NameNode检查client是否拥有上穿文件的权限,同时检查目录是否正确,文件是否已经存在。 3、NameNode向client相应可以上传文件。 4、clint请求上传第一个Block(0-128M),请求返回DataNode 5、NameNode返回三个DataNode节点给clint(有些返回本地节点) 6、client通过就近原则,以及考虑负载均衡,选择其中一个DataNode节点,请求建立Block传输原创 2021-10-22 11:35:58 · 150 阅读 · 0 评论 -
Hadoop组成
Hadoop组成 一、HDFS 是一个分布式文件系统 HDFS架构概述: 1、NameNode(nn): 用来存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等 2、DataNode(dn): 在本地文件系统存储文件块数据,以及块数据的校验和 3、Secondary NameNode(2nn): 每隔一段时间对NameNode元数据进行备份。 二、YARN架构概述: 1、ResourceManager(RM): 整个集群资源(内原创 2021-10-21 18:30:55 · 84 阅读 · 0 评论