高矮

记录成长中的点点滴滴!---QQ:345694862 欢迎交流!

Postgresql热切换情况下通过流复制完成数据到Hbase的实时同步

插件版本: Postgresql:9.6 Debezium:debezium-0.8.3 Sqoop:1.4.7 目标: 1、通过流复制的形式实现数据从Postgresql到Hbase的实时同步 2、Postgresql两个节点在热切换时保证数据的完整性 流程如下图: 要解决的...

2019-03-25 19:37:36

阅读数 40

评论数 0

Debezium:关于Postgresql9.5版本不支持断点续传问题解决

前言: Debezium官方源码只支持pg9.6以上版本的流复制断点续传,9.5版本及其以下版本一旦任务失败,流复制连接无法重启,数据无法实现自动恢复 解决: 这里采用修改源代码的形式来解决9.5版本的支持问题 插件版本: Debezium:debezium-0.8.4 Postgre...

2018-11-20 15:33:30

阅读数 155

评论数 3

Debezium:mysql connector使用

前言: mysql connector支持功能: 1、数据流式处理 2、支持多种模式mysql集群的数据处理 3、支持流复制异常中断后的数据自动恢复 4、支持DDL级别操作的数据流处理 备注:本文以kafka单节点开发环境为例,多节点分布式连接器相似,参考:https://blog.c...

2018-11-19 19:31:35

阅读数 173

评论数 0

Debezium:数据实时采集从Kafka到phoenix

目的:构建基于hbase的实时数仓 解决的问题:RDBMS到Hbase的数据实时采集,并写入Phoenix 方法:Postgresql    ----->     Debezium     ----->     Kafka     ------&am...

2018-09-28 21:12:09

阅读数 555

评论数 0

Debezium:数据实时采集从Postgresql到Kafka

目的:构建基于hbase的实时数仓 解决的问题:RDBMS到Hbase的数据实时采集 方法:Postgresql    ----->     Debezium     ----->     Kafka     ------>  ...

2018-09-21 14:31:22

阅读数 1281

评论数 1

Zeppelin:查询Phoenix

集群环境:Azure HDI 1、创建Interpreter 最后保存Interpreter 2、测试连接 创建Note 查看当前已经存在的表 查看数据

2019-06-17 15:56:07

阅读数 5

评论数 0

Nginx Error: socket() [::]:80 failed (97: Address family not supported by protocol)

Server:Ubuntu 16.04.6 Nginx启动报错: socket() [::]:80 failed (97: Address family not supported by protocol) 解决: 1、查看/etc/nginx/nginx.conf include /et...

2019-06-10 14:27:33

阅读数 75

评论数 0

Spark通过JDBC写Pipelinedb时,无法看到详细异常

报错如下: UnableToExecuteStatementException: Batch entry was aborted. Call getNextException to see the cause 切换Postgresql JDBC驱动到最新版本,问题结局

2019-05-31 10:45:58

阅读数 24

评论数 0

Flik代码示例(2):JDBC写数据到Phoenix

Flink: Blink分支 1.5.1 https://github.com/apache/flink/tree/blink Maven Dependency: <dependency> <groupId>com.alibaba....

2019-05-23 17:24:40

阅读数 34

评论数 0

Flink代码示例(1):消费Kafka Demo

Flink: Blink分支 1.5.1 https://github.com/apache/flink/tree/blink Maven Dependency: <dependency> <groupId>com.alibaba....

2019-05-23 16:59:38

阅读数 44

评论数 0

腾讯云liunx挂载云硬盘

https://cloud.tencent.com/info/8881db10806d59943457afd9745761f9.html

2019-05-15 19:40:01

阅读数 14

评论数 0

Postgresql 逻辑复制REPLICA IDENTITY:调整逻辑复制输出的记录行信息量

当原数据表发生更新时,默认的逻辑复制流只包含历史记录的key,如果需要输出更新记录的历史记录的所有字段,需要在表级别修改参数: REPLICA IDENTITY 例: ALTER TABLE test2 REPLICA IDENTITY FULL; REPLICA IDENTITY有四个值...

2019-05-05 14:46:18

阅读数 41

评论数 0

Pg-replicate-pipelineDB: Postgresql 数据流实时计算

Postgresql版本:10 PipelineDB安装参考:https://blog.csdn.net/u012551524/article/details/86705632 Pg-replicate-pipelineDB下载安装参考:https://github.com/TracyGao0...

2019-04-29 18:09:09

阅读数 61

评论数 0

Hbase:hbase读写时与Zookeeper的TCP交互流程分析

操作系统版本: ubuntu:16.04 Hadoop集群插件版本: CDH:5.15.0 Hbase:1.2.0-cdh5.15.0 分析方式: 通过TCP抓包的方式看Client与Hbase交互时Zookeeper的角色作用 步骤: 1、安装抓包工具tcpdump,Wiresh...

2019-04-28 20:52:36

阅读数 99

评论数 0

Phoenix:python phoenixDB 调整支持https,以及load balance配置

本机内网IP:10.2.10.10 本机8764,转跳另外两台queryServer的8765 1、nginx配置: upstream phoenixServer { server 10.2.10.14:8765 backup; server 10.2.10.13:8765; } s...

2019-04-28 19:45:05

阅读数 146

评论数 0

Postgresql 9.6:PipelineDB安装

组建版本: OS:centos 7 Postgresql:9.6 PipelineDB:0.9.9 1、下载PipelineDB 0.9.9 rpm包 wget https://github.com/pipelinedb/pipelinedb/releases/download/0.9....

2019-04-02 14:07:59

阅读数 35

评论数 0

Pg_squeeze 安装使用

插件版本: OS:Ubuntu 16.04 Postgresql:9.6 目的: 为了回收和再利用通过表更新或者删除行所占用的磁盘空间,我们要对表进行定时的清理,利用VACUUM FULL这种形式会出现较长时间锁表情况,导致该表无法进行读写,只有等整个过程完成后才可以进行正常使用,因此考虑...

2019-03-25 18:32:42

阅读数 51

评论数 0

OpenERP 7.0入门(三):模块“增强记事本”

OpenERP版本:7.0 要求: 1、制作一个新的Addon 'Notebook',包含一个Model (字段title, content, create_date)。在UI上添加相应的菜单并能CRUD。 2、增强上一步的模块,添加一个新字段“type”,这个type是另外一个model ...

2019-03-12 21:05:33

阅读数 102

评论数 0

OpenERP 7.0入门(二):定义菜单

OpenERP版本:7.0 1、重新定义一个菜单: <menuitem id="tracy_menu" name="Tracy"/> //顶部菜单栏 &lt...

2019-03-12 20:44:14

阅读数 263

评论数 0

OpenERP 7.0入门(一):安装及开发环境部署

插件及系统版本: OpenERP:7.0 操作系统:macOS 7.0源码下载:http://nightly.openerp.com/7.0/nightly/src/ 安装教程(依据需要参考): ruby -e "$(curl -fsSL https://raw.git...

2019-03-12 20:33:12

阅读数 161

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭