七牛数据库服务器 xampp mysql_MySQL 数据库

编码方式(encoding):读取mysql 的编码方式,默认为 utf8,即按照 utf8 的编码方式读取。支持读取mysql的编码格式包括:"big5", "dec8", "cp850", "hp8", "koi8r", "latin1", "latin2", "swe7", "ascii", "ujis", "sjis", "hebrew", "tis620", "euckr", "koi8u", "gb2312", "greek", "cp1250", "gbk", "latin5", "armscii8", "utf8", "ucs2", "cp866", "keybcs2", "macce", "macroman", "cp852", "latin7", "utf8mb4", "cp1251", "utf16", "utf16le", "cp1256", "cp1257", "utf32", "binary", "geostd8", "cp932", "eucjpms", "gb18030"。

分批次查询(mysql_need_offset):可选择按递增的时间列或者按照递增的其他列分批次查询,可以配合定时任务使用。

递增的时间列

时间戳列名称(mysql_timestamp_key):指定一个 mysql 的列名,作为 timestamp_key,类型必须是整型/字符串,建议使用插入(或修改)数据的时间戳(unixnano)作为该字段。每次查询会从上次结束的时间戳开始查询。

时间字段是否整型(mysql_timestamp_int):若不为整型,则自动进行时间转换。

起始时间(mysql_start_time):开始时间戳。

单次查询范围(mysql_batch_intervel):单次查询的时间戳范围,若时间戳列类型为字符串型,则不生效。

递增的其他列

递增的列名称(mysql_offset_key):指定一个 mysql 的列名,作为 offset 的记录,类型必须是整型,建议使用插入(或修改)数据的时间戳(unixnano)作为该字段。每次查询会指定这个 key 做 where 条件限制,避免单次查询性能消耗过大。

分批查询的单批次大小(mysql_limit_batch):mysql_sql 的语句,若数据量大,可以填写该字段,分批次查询。若 mysql_offset_key 存在,假设mysql_limit_batch为 100,则查询范式为 select * from table where mysql_offset_key >= 0 and mysql_offset_key < 0 + 100;

若没填写mysql_offset_key,则类似于 select * from table limit 0,100。

全量采集(mysql_fullQuery):采集所选数据库的所以数据,可以配合定时任务使用。

定时任务(mysql_cron):定时任务触发周期,当选择全量采集时为全量采集的定时任务,否则为分批次采集的定时任务

直接写 "loop",任务会不停的循环,执行完一次再接着执行下一次,后面可以跟循环的间歇时间,如 "loop 10s",表示每次循环间隔 10s,支持的单位还有"m(分钟)","h(小时)"

crontab 的写法,类似于* * * * * * ,对应的是秒(0~59),分(0~59),时(0~23),日(1~31),月(1-12),星期(0~6),填*号表示所有遍历都执行。

描述式写法,类似于 "@midnight", "@every 1h30m",必须@符合开头,目前支持@hourly,@weekly,@monthly,@yearly,@every

数据库参数(mysql_param):支持可选数据参数,不同的参数之间使用"&"符号链接,如allowOldPasswords=true&columnsWithAlias=true。

导入匹配的数据(history_all): 可选项,默认为false,表示不导入历史数据,设置为true时,表示导入符合条件的历史数据,配合mysql_database、mysql_table使用。

手动定义 SQL 字段类型(sql_schema): 默认情况下会自动识别数据字段的类型,当不能识别时,可以 sql_schema 指定 mysql 数据字段的类型,目前支持 string、long、float 三种类型,单个字段左边为字段名称,右边为类型,空格分隔 abc float;不同的字段用逗号分隔。支持简写为float=>f,long=>l,string=>s 如:"sql_schema":"abc string,bcd float,xyz long"。

魔法变量时间延迟(magic_lag_duration):针对魔法变量进行时间延迟,单位支持 h(时)、m(分)、s(秒),如写 24h,则渲染出来的时间魔法变量往前 1 天,2017 年 6 月 5 日 6 时 35 分 24 秒 的 @(D) 渲染出来的就是 4。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值