开源
呆小妞
这个作者很懒,什么都没留下…
展开
-
Canal与Otter相关问题梳理
1、存储CanalEventStore接口,主要包含put/get/ack/rollback的相关接口,put/get操作会组成一个生产者/消费者模式,每个store都会有存储大小设计,存储满了,put操作会阻塞等待get获取数据,所以不会无限占用存储,比如内存大小。A、目前EventStore主要实现了memory模式,支持按照内存大小和内存记录数进行存储大小限制。B、后续可开发基于本地文...原创 2018-11-29 12:38:50 · 2357 阅读 · 1 评论 -
infobright 安装与配置详细教程
转自:http://blog.51cto.com/phpqinsir/1030591Infobright是一个基于独特的专利知识网格技术的列式数据库,能够降低您90%的管理工作量。使用Infobright不需要创建特殊的数据库模式,无需创建和维护索引,无需对数据进行分区,甚至不需要手动调整,知识网格就会在原始数据导入时,自动创建和维护数据,并用以优化每一个查询。在一台PC服务器上,Infobri...转载 2018-12-24 13:21:08 · 2558 阅读 · 1 评论 -
Binlog相关说明
Binlog基本配制与格式设定1.基本配制Mysql BInlog日志格式可以通过mysql的my.cnf文件的属性binlog_format指定。如以下:binlog_format = MIXED //binlog日志格式log_bin =目录/mysql-bin.log //binlog日志名...原创 2018-12-21 16:06:13 · 226 阅读 · 0 评论 -
Otter-监控-定时停用与启用
停用请求http://192.168.1.1:8080/channel_list.htm?action=channelAction&channelId=11&status=stop&eventSubmitDoStatus=true启用请求http://192.168.1.1:8080/?action=channelAction&channelId=11&...原创 2018-12-21 16:04:32 · 1227 阅读 · 0 评论 -
shell-kitchen-job-资源库
job.shell:新建shell,使用vi#!/bin/shexport JAVA_HOME=/usr/local/app/jdk1.8.0_66export LANG=en_US.UTF-8job_name=$2echo “------------start--------------”cd ~/kettle/data-integrationsh kitchen.sh -rep...原创 2018-12-26 13:42:02 · 534 阅读 · 0 评论 -
Kettle日常使用汇总整理
Kettle日常使用汇总整理【日常链接地址: https://www.cnblogs.com/lsy-blogs/p/8268318.html】【命令地址:https://www.2cto.com/kf/201801/713626.html】Kettle源码下载地址:https://github.com/pentaho/pentaho-kettleKettle软件下载地址:https:/...转载 2018-12-26 13:40:26 · 512 阅读 · 0 评论 -
kettle常见问题
1、多人操作同一资源库多人操作同一资源库,所有人都会卡住,无法保存2、发送邮件多个邮箱空格分割收件列表要是有一个邮箱失效会报错,发不出去...原创 2018-12-26 13:38:27 · 1281 阅读 · 0 评论 -
kettle常用命令
dev_Job与KTR文件路径:cd ~/kettle/data-integration/data执行路径:cd ~/kettle/data-integrationLinux启动ktr:./pan.sh -file=data/test1.ktr >> data/log/test.log &Linux启动Job:./kitchen.sh -file = data/jo...原创 2018-12-26 13:37:35 · 885 阅读 · 0 评论 -
数据补录-shell
数据补录-shellsh jobssh ~/kettle/shell/jobs_date.sh CNVN CNVN_JOB >> ~/kettle/shell/logs/dw/CNVN_job_.logjobs_date.sh内容如下:#/bin/shexport JAVA_HOME=/usr/java8export LANG=en_US.UTF-8cd ~/kettle...原创 2018-12-26 13:36:43 · 1195 阅读 · 0 评论 -
linux服务器-ketlle部署
1、创建kettle文件夹mkdir kettle2、上传ziprzpdi-ce-7.1.0.0-12.zip【上传此文件】3、解压unzip pdi-ce-7.1.0.0-12.zip4、Kettle7.1对应JDK1.8版本5、查询Linux,jdk版本及路径java -versionecho $JAVA_HOME系统为1.7时,为kettle指定JDK版本在spoon...原创 2018-12-26 13:35:34 · 379 阅读 · 0 评论 -
canal配置注意事项
Canal配置时,需要注意以下两点:1、数据库设置:[mysqld]log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复log_slave_updates=true ##这个配置一定要打开【从库向另一个从库同步,必须开启】2...原创 2018-11-28 17:36:54 · 381 阅读 · 0 评论 -
Otter安装说明
Otter安装说明Mysql安装(如果已安装则无需再安装):【忽略安装Mysql】安装依赖yum -y install perl perl-devel autoconf#下载Mysql包https://github.com/alibaba/otter/releases【Otter最新版本下载】wget https://dev.mysql.com/get/Downloads/MySQL-...原创 2018-12-18 17:16:59 · 1264 阅读 · 0 评论 -
Call exception异常
异常信息:Call exception, tries=10, retries=35, started=38851 ms ago, cancelled=false,msg=cloudtable-2ff6-regionserver-1-1-VD9Hbv39.cloudtable.com row‘signalData,jMTgwM1553443200,99999999999999’on tabl...原创 2019-03-26 11:30:54 · 1622 阅读 · 0 评论