- 博客(8)
- 收藏
- 关注
RSS订阅原创 hbase hbck
HBaseFsck (HBCK)工具可以检测 HBase 集群中 Region 的一致性和完整性，同时可以对损坏的集群进行修复。HBCK 主要工作在两种模式下：一致性检测只读模式和多阶段修复模式。HBase 集群一致性状态HBase 集群一致性主要包括两个方面：HBase Region 一致性：集群中所有 Region 都被 assign，而且 deploy 到唯一一台 RegionServer 上，并且该 Region 的状态在内存中、hbase:meta 表中以及 ZooKeeper 这
2020-05-19 01:11:51
1590
原创 GreenPlum 时间转换函数
从date、timestamp、time、interval类型中抽取子域值方法一：extractextract函数从日期、时间数值里抽取子域，例如年、小时等。格式：extract(field from source)source：date、timestamp、time、interval类型的值；field：是一个标识符或者字符串，指定所抽取的域，可以是表示时间的任意值，如c...
2020-05-19 00:32:53
5870
原创 SQL时间类型
名字 存储空间 描述 最低值 最高值 分辨率 timestamp [(p)] [without time zone] 8 字节 日期和时间 ...
2020-05-19 00:31:57
2127
原创 PostgreSql 常量
PostgreSQL 里有三种隐含类型的常量：字符串、位串、数值。常量也可以声明为明确的类型，这样就可以使用更准确的表现形式以及可以通过系统更有效地处理。字符串常量SQL 标准定义的声明字符串常量的方法是：用单引号(')包围的任意内容，比如 'This is a string'如果在字符串中包含单引号，需要输入连续的两个单引号，比如：'Dianne''s horse'。注意：是两...
2020-05-19 00:30:26
1476
原创 HDFS 在 HBase 系统中扮演的角色
HDFS在HBase系统中扮演的角色HBase使用HDFS存储所有数据文件，从HDFS的视角看，HBase就是它的客户端。这样的架构有几点需要说明：HBase本身并不存储文件，它只规定文件格式以及文件内容，实际文件存储由HDFS实现。 HBase不提供机制保证存储数据的高可靠，数据的高可靠性由HDFS的多副本机制保证。 HBase-HDFS体系是典型的计算存储分离架构。这种轻耦合架构的...
2020-05-19 00:29:35
494
原创 HBase 与 ZooKeeper 的关系
HBase在ZooKeeper中创建的主要子节点meta-region-server：存储HBase集群hbase:meta元数据表所在的RegionServer访问地址。客户端读写数据首先会从此节点读取hbase:meta元数据的访问地址，将部分元数据加载到本地，根据元数据进行数据路由。rs：集群中所有运行的RegionServer。master：backup-masters：通常...
2020-05-19 00:29:14
6574
2原创 __consumer_offsets
__consumer_offsets是kafka自行创建的，和普通的topic相同。它存在的目的之一就是保存consumer提交的位移。__consumer_offsets的每条消息格式大致如图所示：配图105，图5.5可以想象成一个KV格式的消息，key就是一个三元组：group.id+topic+分区号，而value就是offset的值。考虑到一个kafka生成环境中可能有很多...
2020-05-18 23:03:56
10328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人