hadoop
一缕阳光a
(1)、从2018年8月开始从事分布式数据库内核开发工作,包括自研分布式分析型数据库OLAP、自研分布式数据库HTAP,根据开源数据库实现本公司集群型的OLTP产品,以及现在正在做的根据opengaussDB开发的HTAP类型数据库。
(2)、乐于专研,对分布式数据库有强烈的兴趣。
个人邮箱: zgaoq@163.com。
展开
-
HDFS的Block size的默认大小
今天无意中听到了同事说关于HDFS中每个block的大小,特意查了下:从Hadoop的官网上看了各个版本的说明文档中关于 Data Blocks 的说明,发现是从2.7.3版本开始,官方关于Data Blocks 的说明中,block size由64 MB变成了128 MB的。以下是相关连接:Hadoop 1.2.1Hadoop 2.7.2Hadoop 2.7.3Hadoop 2.9.1...原创 2020-06-01 19:15:58 · 7931 阅读 · 0 评论 -
HDFS的读/写流程
1.HDFS读流程HDFS读流程1.1 、Client通过FileSystem.open(filePath)方法,与NN节点进行【rpc】协议通信,校验是否有权限是否存在,假如都ok,返回该文件的部分或全部的block的列表(包含各个block块的分布在DN地址的列表),也就是返回【FSDataInputStream】对象;1.2、Clinet调用FSDataInputStream.read方法。a.与第一个块的最近的DN进行read,读取完成后,会check,假如ok,会关闭与当前的DN的转载 2020-05-25 15:17:18 · 242 阅读 · 0 评论 -
hdfs为什么要用block以及block大小的设置
1、在HDFS里面,文件存储为什么要以Block块的方式存储?目的:减少磁盘寻道的时间。(1)、不设置block:因为数据是分散的存放磁盘上的,读取数据时需要不停的进行磁盘寻道,开销比较大。(2)、使用block: 一次可以读取一个block中的数据,减少磁盘寻道的次数和时间。其他:block在磁盘上非连续存储的,读取数据时需要磁盘寻道。2、为什么HDFS中块(bl...原创 2020-01-08 11:46:50 · 1737 阅读 · 2 评论 -
hadoop fs 基本命令
今天由于工作需要,需要使用到hadoop fs的一些命令,就简单的总结了下:1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-defaul...原创 2018-08-22 15:46:52 · 12536 阅读 · 1 评论 -
Hadoop之Shell命令
hadoop的shell命令与linux下的命令类似,一般要在命名了的前面加-,例如:hadoop fs -ls /.......具体如下:FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文...原创 2019-01-07 11:23:53 · 225 阅读 · 0 评论 -
不理解Zookeeper一致性原理,谈何异地多活改造
转载:http://developer.51cto.com/art/201805/574334.htmZookeeper 是最终一致性的,由于多副本,以及保证大多数成功的 Zab 协议,当一个客户端进程写入一个新值,另一个客户端进程不能保证马上就会读到,但能保证最终会读到这个值。Zookeeper 的 Zab 协议类似于 Paxos 协议,并且提供了强一致性。每当听到这两种说法,我都想...转载 2019-01-09 14:25:24 · 329 阅读 · 0 评论 -
HIVE和HBASE区别
转载:https://www.cnblogs.com/justinzhang/p/4273470.html1. 两者分别是什么?Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互...转载 2019-05-13 10:01:33 · 138 阅读 · 0 评论