- 博客(21)
- 资源 (1)
- 收藏
- 关注
原创 Canal与Otter相关问题梳理
1、存储CanalEventStore接口,主要包含put/get/ack/rollback的相关接口,put/get操作会组成一个生产者/消费者模式,每个store都会有存储大小设计,存储满了,put操作会阻塞等待get获取数据,所以不会无限占用存储,比如内存大小。A、目前EventStore主要实现了memory模式,支持按照内存大小和内存记录数进行存储大小限制。B、后续可开发基于本地文...
2018-11-29 12:38:50 2333 1
原创 Statistics--统计各环节耗时情况
Statistics调用Statistics stats = Statistics.newInstance(“SiteMonitorController.getSiteMonitorTotal”);//1-step-节点stats.mark();}finally{//5-step最后一定要加end,大于此毫秒数,才记录日志,否则不记录stats.end(200);}Statisti...
2019-12-09 18:00:47 279
原创 任务栏-IDEA图标变白色
解决办法:打开任务文件夹,在地址栏输入,执行以下命令即可:cmd.exe /c ie4uinit.exe -show
2019-11-27 19:46:28 2325 2
原创 Object 转Map
Object 转Map/** * Object 转Map * @param obj * @return * @throws Exception */ public Map<String,Object> objToMap(Object obj) throws Exception{ Map<String,Ob...
2019-07-18 15:07:05 358
原创 生成ExcelUtil
//调用方法/*String ExcelName Excel文件名称String sheetName Sheet页名称String[] heads 生成excel表头String[] titles 表头对应实体属性*List<Map<String,Object>> resList 数据*/writerExcel(ExcelName,sheetNam...
2019-07-18 15:04:31 411
原创 Call exception异常
异常信息:Call exception, tries=10, retries=35, started=38851 ms ago, cancelled=false,msg=cloudtable-2ff6-regionserver-1-1-VD9Hbv39.cloudtable.com row‘signalData,jMTgwM1553443200,99999999999999’on tabl...
2019-03-26 11:30:54 1606
原创 shell-kitchen-job-资源库
job.shell:新建shell,使用vi#!/bin/shexport JAVA_HOME=/usr/local/app/jdk1.8.0_66export LANG=en_US.UTF-8job_name=$2echo “------------start--------------”cd ~/kettle/data-integrationsh kitchen.sh -rep...
2018-12-26 13:42:02 518
转载 Kettle日常使用汇总整理
Kettle日常使用汇总整理【日常链接地址: https://www.cnblogs.com/lsy-blogs/p/8268318.html】【命令地址:https://www.2cto.com/kf/201801/713626.html】Kettle源码下载地址:https://github.com/pentaho/pentaho-kettleKettle软件下载地址:https:/...
2018-12-26 13:40:26 496
原创 kettle常见问题
1、多人操作同一资源库多人操作同一资源库,所有人都会卡住,无法保存2、发送邮件多个邮箱空格分割收件列表要是有一个邮箱失效会报错,发不出去...
2018-12-26 13:38:27 1260
原创 kettle常用命令
dev_Job与KTR文件路径:cd ~/kettle/data-integration/data执行路径:cd ~/kettle/data-integrationLinux启动ktr:./pan.sh -file=data/test1.ktr >> data/log/test.log &Linux启动Job:./kitchen.sh -file = data/jo...
2018-12-26 13:37:35 850
原创 数据补录-shell
数据补录-shellsh jobssh ~/kettle/shell/jobs_date.sh CNVN CNVN_JOB >> ~/kettle/shell/logs/dw/CNVN_job_.logjobs_date.sh内容如下:#/bin/shexport JAVA_HOME=/usr/java8export LANG=en_US.UTF-8cd ~/kettle...
2018-12-26 13:36:43 1177
原创 linux服务器-ketlle部署
1、创建kettle文件夹mkdir kettle2、上传ziprzpdi-ce-7.1.0.0-12.zip【上传此文件】3、解压unzip pdi-ce-7.1.0.0-12.zip4、Kettle7.1对应JDK1.8版本5、查询Linux,jdk版本及路径java -versionecho $JAVA_HOME系统为1.7时,为kettle指定JDK版本在spoon...
2018-12-26 13:35:34 362
原创 Git合并分支至master
创建新分支 dev git branch dev切换到该分支 git checkout dev提交一次 git commit切换回 master git checkout master再提交一次git commit用 git merge 把 dev 合并到 mastergit merge dev(master 的分支被混入到所有的提交记录,但 dev 没有...
2018-12-25 16:36:07 436
原创 配置Eclipse支持JDK8
配置Eclipse支持JDK8,步骤如下:1、下载安装Eclipse Kepler SR2 (4.3.2)2、打开Eclipse,Help > Install New Software…3、在Work with后点击Add按钮,Add Repository的Location中输入http://download.eclipse.org/eclipse/updates/4.3-P-bu...
2018-12-24 13:34:47 3040 3
原创 linux服务器-常用操作
切换至root帐号:sudo -i查看服务器的ulimit大小:ulimit -n查看系统是64位还是32位getconf LONG_BIT查看版本信息:lsb_release -a进入mysql:mysql-ib删除写保护文件:sudo rm -rf 文件名查询表占有大小:use information_schema;select concat(round(sum(...
2018-12-24 13:28:18 202
转载 infobright 安装与配置详细教程
转自:http://blog.51cto.com/phpqinsir/1030591Infobright是一个基于独特的专利知识网格技术的列式数据库,能够降低您90%的管理工作量。使用Infobright不需要创建特殊的数据库模式,无需创建和维护索引,无需对数据进行分区,甚至不需要手动调整,知识网格就会在原始数据导入时,自动创建和维护数据,并用以优化每一个查询。在一台PC服务器上,Infobri...
2018-12-24 13:21:08 2537 1
原创 Binlog相关说明
Binlog基本配制与格式设定1.基本配制Mysql BInlog日志格式可以通过mysql的my.cnf文件的属性binlog_format指定。如以下:binlog_format = MIXED //binlog日志格式log_bin =目录/mysql-bin.log //binlog日志名...
2018-12-21 16:06:13 215
原创 Otter-监控-定时停用与启用
停用请求http://192.168.1.1:8080/channel_list.htm?action=channelAction&channelId=11&status=stop&eventSubmitDoStatus=true启用请求http://192.168.1.1:8080/?action=channelAction&channelId=11&...
2018-12-21 16:04:32 1213
原创 Otter安装说明
Otter安装说明Mysql安装(如果已安装则无需再安装):【忽略安装Mysql】安装依赖yum -y install perl perl-devel autoconf#下载Mysql包https://github.com/alibaba/otter/releases【Otter最新版本下载】wget https://dev.mysql.com/get/Downloads/MySQL-...
2018-12-18 17:16:59 1249
原创 canal配置注意事项
Canal配置时,需要注意以下两点:1、数据库设置:[mysqld]log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复log_slave_updates=true ##这个配置一定要打开【从库向另一个从库同步,必须开启】2...
2018-11-28 17:36:54 366
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人