- 博客(6)
- 收藏
- 关注
原创 hdfs读写流程
hdfs写文件流程1、调用客户端对象DistributedFileSystem的create()方法2、DistributedFileSystem向NameNode发送一个RPC连接,请求创建一个文件,不包含Block块的请求,NameNode会进行各种检查,确保文件不存在,并且客户端有创建的权限,通过检查后,在edits log中创建文件,否则创建失败客户端抛异常IOException3...
2019-04-28 19:33:46
157
原创 Redis持久化:RDB
Redis持久化:RDBSAVE命令redis > save阻塞Redis服务,无法响应客户端请求创建新的dump.rdb替代旧文件BGSAVE命令(异步命令)redis > bgsave非阻塞,Redis服务正常接收处理客户端请求Redis会fork()一个新的子进程来创建RDB文件,子进程处理完后会向父进程发送一个信号,通知它处理完毕父进程用新的dump.rdb替...
2019-04-18 23:23:25
142
原创 AOF持久化策略
AOF持久化策略Append only file,采用追加的方式保存默认文件appendonly.aof记录所有的写操作命令,在服务启动的时候使用这些命令就可以还原数据库调整AOF持久化策略,可以在服务出现故障时,不丢失任何数据,也可以丢失一秒的数据。相对于RDB损失小得多AOF写入机制AOF方式不能保证绝对不丢失数据目前常见的操作系统中,执行系统调用write函数,将一些内容写入到...
2019-04-15 22:41:49
908
转载 hadoop之数据分片(split)详解以及map数量控制
1.分片(splits)相关概念由InputFormat这个接口来定义的,其中有个getSplits方法。这里有一个新的概念:fileSplit。每个map处理一个fileSplit,所以有多少个fileSplit就有多少个map(map数并不是单纯的由用户设置决定的)。我们来看一下hadoop分片splits的源码:long goalSize = totalSize / (numSplit...
2019-04-14 20:25:54
1246
原创 hbase数据模型(入门级)
hbase数据模型(不同于关系型数据库)*ROW KEY决定一行数据按照字典顺序排序的。Row key只能存储64k的字节数据Column Family列族 & qualifier列HBase表中的每个列都归属于某个列族,列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’;列名以列族作为前缀,每个“列族”都可以有多个...
2019-04-11 21:36:52
257
原创 hbase架构及读写流程
hbase架构1. hbase是主从架构2. 角色:**Client:**包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper:保证任何时候,集群中只有一个活跃master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master:为Regio...
2019-04-10 21:13:46
6078
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人