- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Canal与Otter相关问题梳理
1、存储CanalEventStore接口，主要包含put/get/ack/rollback的相关接口，put/get操作会组成一个生产者/消费者模式，每个store都会有存储大小设计，存储满了，put操作会阻塞等待get获取数据，所以不会无限占用存储，比如内存大小。A、目前EventStore主要实现了memory模式，支持按照内存大小和内存记录数进行存储大小限制。B、后续可开发基于本地文...
2018-11-29 12:38:50
2297
1
原创 Statistics--统计各环节耗时情况
Statistics调用Statistics stats = Statistics.newInstance(“SiteMonitorController.getSiteMonitorTotal”);//1-step-节点stats.mark();}finally{//5-step最后一定要加end,大于此毫秒数，才记录日志，否则不记录stats.end(200);}Statisti...
2019-12-09 18:00:47
256
原创 任务栏-IDEA图标变白色
解决办法：打开任务文件夹，在地址栏输入，执行以下命令即可：cmd.exe /c ie4uinit.exe -show
2019-11-27 19:46:28
2284
2
原创 Object 转Map
Object 转Map/** * Object 转Map * @param obj * @return * @throws Exception */ public Map<String,Object> objToMap(Object obj) throws Exception{ Map<String,Ob...
2019-07-18 15:07:05
338
原创 生成ExcelUtil
//调用方法/*String ExcelName Excel文件名称String sheetName Sheet页名称String[] heads 生成excel表头String[] titles 表头对应实体属性*List<Map<String,Object>> resList 数据*/writerExcel(ExcelName,sheetNam...
2019-07-18 15:04:31
381
原创 Call exception异常
异常信息：Call exception, tries=10, retries=35, started=38851 ms ago, cancelled=false,msg=cloudtable-2ff6-regionserver-1-1-VD9Hbv39.cloudtable.com row‘signalData,jMTgwM1553443200,99999999999999’on tabl...
2019-03-26 11:30:54
1571
原创 shell-kitchen-job-资源库
job.shell：新建shell,使用vi#!/bin/shexport JAVA_HOME=/usr/local/app/jdk1.8.0_66export LANG=en_US.UTF-8job_name=$2echo “------------start--------------”cd ~/kettle/data-integrationsh kitchen.sh -rep...
2018-12-26 13:42:02
489
转载 Kettle日常使用汇总整理
Kettle日常使用汇总整理【日常链接地址： https://www.cnblogs.com/lsy-blogs/p/8268318.html】【命令地址：https://www.2cto.com/kf/201801/713626.html】Kettle源码下载地址：https://github.com/pentaho/pentaho-kettleKettle软件下载地址：https:/...
2018-12-26 13:40:26
464
原创 kettle常见问题
1、多人操作同一资源库多人操作同一资源库，所有人都会卡住，无法保存2、发送邮件多个邮箱空格分割收件列表要是有一个邮箱失效会报错，发不出去...
2018-12-26 13:38:27
1227
原创 kettle常用命令
dev_Job与KTR文件路径：cd ~/kettle/data-integration/data执行路径：cd ~/kettle/data-integrationLinux启动ktr：./pan.sh -file=data/test1.ktr >> data/log/test.log &Linux启动Job：./kitchen.sh -file = data/jo...
2018-12-26 13:37:35
824
原创 数据补录-shell
数据补录-shellsh jobssh ~/kettle/shell/jobs_date.sh CNVN CNVN_JOB >> ~/kettle/shell/logs/dw/CNVN_job_.logjobs_date.sh内容如下：#/bin/shexport JAVA_HOME=/usr/java8export LANG=en_US.UTF-8cd ~/kettle...
2018-12-26 13:36:43
1147
原创 linux服务器-ketlle部署
1、创建kettle文件夹mkdir kettle2、上传ziprzpdi-ce-7.1.0.0-12.zip【上传此文件】3、解压unzip pdi-ce-7.1.0.0-12.zip4、Kettle7.1对应JDK1.8版本5、查询Linux，jdk版本及路径java -versionecho $JAVA_HOME系统为1.7时，为kettle指定JDK版本在spoon...
2018-12-26 13:35:34
339
原创 Git合并分支至master
创建新分支 dev git branch dev切换到该分支 git checkout dev提交一次 git commit切换回 master git checkout master再提交一次git commit用 git merge 把 dev 合并到 mastergit merge dev（master 的分支被混入到所有的提交记录，但 dev 没有...
2018-12-25 16:36:07
415
原创 配置Eclipse支持JDK8
配置Eclipse支持JDK8，步骤如下：1、下载安装Eclipse Kepler SR2 (4.3.2)2、打开Eclipse，Help > Install New Software…3、在Work with后点击Add按钮，Add Repository的Location中输入http://download.eclipse.org/eclipse/updates/4.3-P-bu...
2018-12-24 13:34:47
2987
3
原创 linux服务器-常用操作
切换至root帐号：sudo -i查看服务器的ulimit大小：ulimit -n查看系统是64位还是32位getconf LONG_BIT查看版本信息：lsb_release -a进入mysql:mysql-ib删除写保护文件：sudo rm -rf 文件名查询表占有大小：use information_schema;select concat(round(sum(...
2018-12-24 13:28:18
191
转载 infobright 安装与配置详细教程
转自：http://blog.51cto.com/phpqinsir/1030591Infobright是一个基于独特的专利知识网格技术的列式数据库，能够降低您90%的管理工作量。使用Infobright不需要创建特殊的数据库模式，无需创建和维护索引，无需对数据进行分区，甚至不需要手动调整，知识网格就会在原始数据导入时，自动创建和维护数据，并用以优化每一个查询。在一台PC服务器上，Infobri...
2018-12-24 13:21:08
2502
1
原创 Binlog相关说明
Binlog基本配制与格式设定1.基本配制Mysql BInlog日志格式可以通过mysql的my.cnf文件的属性binlog_format指定。如以下：binlog_format = MIXED //binlog日志格式log_bin =目录/mysql-bin.log //binlog日志名...
2018-12-21 16:06:13
197
原创 Otter-监控-定时停用与启用
停用请求http://192.168.1.1:8080/channel_list.htm?action=channelAction&channelId=11&status=stop&eventSubmitDoStatus=true启用请求http://192.168.1.1:8080/?action=channelAction&channelId=11&...
2018-12-21 16:04:32
1179
原创 Otter安装说明
Otter安装说明Mysql安装（如果已安装则无需再安装）：【忽略安装Mysql】安装依赖yum -y install perl perl-devel autoconf#下载Mysql包https://github.com/alibaba/otter/releases【Otter最新版本下载】wget https://dev.mysql.com/get/Downloads/MySQL-...
2018-12-18 17:16:59
1211
原创 canal配置注意事项
Canal配置时，需要注意以下两点：1、数据库设置：[mysqld]log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复log_slave_updates=true ##这个配置一定要打开【从库向另一个从库同步，必须开启】2...
2018-11-28 17:36:54
344
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人