hadoop
唐-coffee
这个作者很懒,什么都没留下…
展开
-
HDFS原理介绍
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。1. 架构分析 基础名词解释:Block: 在HDFS中,每个文件都是采用的分块的方式存储,每个block放在不同的datanode上,每个block的标识是...转载 2019-01-08 16:00:00 · 156 阅读 · 0 评论 -
Parquet文件
列存储和行式存储的比较列存储和传统的行式存储,在存储介质中的排列方式如图所示。这种存储方式也就决定了他们的适用场景。需要事务处理行存储更适用于OLTP(on-line transaction processing)的场景,在这种场景中,大部分情况下需要存储数据的全量或者一大部分字段,并且需要支持频率不低的更新和插入操作。而最近火起来的大数据的要求却于此大相径庭,这种场景...原创 2019-06-05 21:16:24 · 530 阅读 · 0 评论 -
MR优化好文
MR优化的基本配置:https://www.cnblogs.com/yjt1993/p/9483032.html原创 2019-07-17 20:12:32 · 90 阅读 · 0 评论