- 博客(6)
- 收藏
- 关注
RSS订阅原创 hdfs读写流程
hdfs写文件流程 1、调用客户端对象DistributedFileSystem的create()方法 2、DistributedFileSystem向NameNode发送一个RPC连接，请求创建一个文件，不包含Block块的请求，NameNode会进行各种检查，确保文件不存在，并且客户端有创建的权限，通过检查后，在edits log中创建文件，否则创建失败客户端抛异常IOException 3...
2019-04-28 19:33:46
153
原创 Redis持久化:RDB
Redis持久化:RDB SAVE命令 redis > save 阻塞Redis服务，无法响应客户端请求 创建新的dump.rdb替代旧文件 BGSAVE命令(异步命令) redis > bgsave 非阻塞，Redis服务正常接收处理客户端请求 Redis会fork()一个新的子进程来创建RDB文件，子进程处理完后会向父进程发送一个信号，通知它处理完毕 父进程用新的dump.rdb替...
2019-04-18 23:23:25
134
原创 AOF持久化策略
AOF持久化策略 Append only file，采用追加的方式保存 默认文件appendonly.aof 记录所有的写操作命令，在服务启动的时候使用这些命令就可以还原数据库 调整AOF持久化策略，可以在服务出现故障时，不丢失任何数据，也可以丢失一秒的数据。相对于RDB损失小得多 AOF写入机制 AOF方式不能保证绝对不丢失数据 目前常见的操作系统中，执行系统调用write函数，将一些内容写入到...
2019-04-15 22:41:49
894
转载 hadoop之数据分片（split）详解以及map数量控制
1.分片（splits）相关概念 由InputFormat这个接口来定义的，其中有个getSplits方法。这里有一个新的概念：fileSplit。每个map处理一个fileSplit，所以有多少个fileSplit就有多少个map（map数并不是单纯的由用户设置决定的）。 我们来看一下hadoop分片splits的源码： long goalSize = totalSize / (numSplit...
2019-04-14 20:25:54
1234
原创 hbase数据模型（入门级）
hbase数据模型（不同于关系型数据库）* ROW KEY 决定一行数据 按照字典顺序排序的。 Row key只能存储64k的字节数据 Column Family列族 & qualifier列 HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’； 列名以列族作为前缀，每个“列族”都可以有多个...
2019-04-11 21:36:52
252
原创 hbase架构及读写流程
hbase架构 1. hbase是主从架构 2. 角色： **Client：**包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper： 保证任何时候，集群中只有一个活跃master 存贮所有Region的寻址入口。 实时监控Region server的上线和下线信息。并实时通知Master 存储HBase的schema和table元数据 Master： 为Regio...
2019-04-10 21:13:46
6071
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人