- 博客(6)
- 收藏
- 关注
RSS订阅原创 hdfs读写流程
hdfs写文件流程1、调用客户端对象DistributedFileSystem的create()方法2、DistributedFileSystem向NameNode发送一个RPC连接，请求创建一个文件，不包含Block块的请求，NameNode会进行各种检查，确保文件不存在，并且客户端有创建的权限，通过检查后，在edits log中创建文件，否则创建失败客户端抛异常IOException3...
2019-04-28 19:33:46
157
原创 Redis持久化:RDB
Redis持久化:RDBSAVE命令redis > save阻塞Redis服务，无法响应客户端请求创建新的dump.rdb替代旧文件BGSAVE命令(异步命令)redis > bgsave非阻塞，Redis服务正常接收处理客户端请求Redis会fork()一个新的子进程来创建RDB文件，子进程处理完后会向父进程发送一个信号，通知它处理完毕父进程用新的dump.rdb替...
2019-04-18 23:23:25
142
原创 AOF持久化策略
AOF持久化策略Append only file，采用追加的方式保存默认文件appendonly.aof记录所有的写操作命令，在服务启动的时候使用这些命令就可以还原数据库调整AOF持久化策略，可以在服务出现故障时，不丢失任何数据，也可以丢失一秒的数据。相对于RDB损失小得多AOF写入机制AOF方式不能保证绝对不丢失数据目前常见的操作系统中，执行系统调用write函数，将一些内容写入到...
2019-04-15 22:41:49
908
转载 hadoop之数据分片（split）详解以及map数量控制
1.分片（splits）相关概念由InputFormat这个接口来定义的，其中有个getSplits方法。这里有一个新的概念：fileSplit。每个map处理一个fileSplit，所以有多少个fileSplit就有多少个map（map数并不是单纯的由用户设置决定的）。我们来看一下hadoop分片splits的源码：long goalSize = totalSize / (numSplit...
2019-04-14 20:25:54
1246
原创 hbase数据模型（入门级）
hbase数据模型（不同于关系型数据库）*ROW KEY决定一行数据按照字典顺序排序的。Row key只能存储64k的字节数据Column Family列族 & qualifier列HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’；列名以列族作为前缀，每个“列族”都可以有多个...
2019-04-11 21:36:52
257
原创 hbase架构及读写流程
hbase架构1. hbase是主从架构2. 角色：**Client：**包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper：保证任何时候，集群中只有一个活跃master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master：为Regio...
2019-04-10 21:13:46
6078
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人