HDFS
哪有天生的学霸,一切都是厚积薄发
天道酬勤,商道酬信,学道酬苦,业道酬精 ,人道酬诚。
展开
-
HDFS Java API操作
1.在 https://mvnrepository.com/ 网站可以找到Maven中配置的jar包import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;im...原创 2018-10-13 14:41:11 · 376 阅读 · 0 评论 -
高可用HA
1.NN + SN 模式:2.HA原创 2018-10-16 00:35:03 · 490 阅读 · 0 评论 -
DN的工作原理
DataNode1.提供真实文件数据的存储服务2.文件块(block):最基本的存储单位。对于文件内容而言,一个文件长度大小是size,那么从文件0皮衣开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一块称为一个block,HDFS默认Block的大小是128MB,以一个256MB文件,则需要两个block,即256 / 128 = 23.不同于普通文件系统的是,HDFS里面,如果...原创 2018-10-09 20:57:22 · 1272 阅读 · 0 评论 -
NN元数据工作机制
1.2.原创 2018-10-09 19:25:42 · 528 阅读 · 0 评论 -
启动Hive时遇到Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException 块丢失的问题
HDFS的block corrupt事件用 hdfs fsck / 检查关掉安全模式hdfs dfsadmin -safemode leave原创 2018-10-19 21:18:35 · 1529 阅读 · 0 评论 -
使用CombineFileInputFormat来优化Hadoop小文件
HDFS我们都知道,HDFS设计是用来存储海量数据的,特别适合存储TB、PB量级别的数据。但是随着时间的推移,HDFS上可能会存在大量的小文件,这里说的小文件指的是文件大小远远小于一个HDFS块(128MB)的大小;HDFS上存在大量的小文件至少会产生以下影响:1)消耗NameNode大量的内存2)延长MapReduce作业的总运行时间本文将介绍如何在MapReduce作业层面上将大量的小...转载 2019-03-05 15:21:29 · 757 阅读 · 0 评论