jdbc_mysql.bat elasticsearch_Elasticsearch使用JDBC与MySQL数据同步,出现 一直重复数据的问题....

每次后台去运行.sh文件运行一次ES中就会把之前的数据重复一次,并不是覆盖,自己看了一下应该是时间戳的问题,因为.sh里"schedule" 字段是格式化的时间,而我的数据库里存的是时间戳的.

#bin/sh

bin=$JDBC_IMPORTER_HOME/bin

lib=$JDBC_IMPORTER_HOME/lib

echo '

{

"type" : "jdbc",

"jdbc" : {

"url" : "jdbc:mysql://localhost:3306/wenda",

"user" : "root",

"password" : "123456",

"statefile" : "statefile-ask.json",

"schedule" : "0 0-59 0-23 ? * *", #应该是这里的问题

"sql" : [

{

"statement" : "select * from think_ask where create_time > ?",

"parameter" : [ "$metrics.lastexecutionstart" ]

}

],

"index" : "myindex",

"type" : "mytype",

"index_settings" : {

"analysis" : {

"analyzer" : {

"ik" : {

"tokenizer" : "ik"

}

}

}

},

"type_mapping": {

"ask" : {

"properties" : {

"asid" : {

"type" : "long"

},

"content" : {

"type" : "string",

"analyzer" : "ik",

"index" : "not_analyzed",

"searchAnalyzer": "pinyin_analyzer"

},

"uname" : {

"type" : "string",

"analyzer" : "ik"

},

"click_count" : {

"type" : "long"

},

"time" : {

"type" : "long"

}

}

}

}

}

}

' | java \

-cp "${lib}/*" \

-Dlog4j.configurationFile=${bin}/log4j2.xml \

org.xbib.tools.Runner \

org.xbib.tools.JDBCImporter

现在设置的是每分钟执行一次这个sh文件,每执行一次数据都会上传一次,重复数据,不管有没有更新数据都会上传,请问这个时间改怎么改合适?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值