Kettle
listenFeng.
这个作者很懒,什么都没留下…
展开
-
kettle实现大批量数据动态分页抽取--从ES里取数
从ES里取数一、设置每次抽取条数1.获取ES索引数据量获取数据的方法与我之间写过的kettle从ES中抽数的文章中是一样的,只是本次抽数是为了获取索引的总条数,即total字段1. 设置请求头参数2. 获取数据(因为是之间对ES请求,所以返回的数据未被封装,数据结构即为原始的数据结构)3. 根据总条数设置页数代码如下:public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws Ket原创 2021-03-11 10:01:25 · 2596 阅读 · 1 评论 -
kettle实现大批量数据动态分页抽取--从数据库里取数
从数据库里取数一、设置每次抽取条数添加表输入步骤,通过count函数查出源数据表的数据量添加java代码步骤,将条数转换成页数代码如下:public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException { if (first) { first = false; /* TODO: Your code here. (Using info fie原创 2021-02-26 10:45:13 · 2369 阅读 · 1 评论 -
kettle使用httpClient获取ES索引数据
编辑请求头参数(json为json格式请求体)设置请求解析返回数据返回数据格式如下:{ "data": [ { "risk_content": "**", "risk_point": "**", "checked_type": "**", "correction_detail": "**", "supervisor_id": "**", .原创 2021-02-25 13:33:58 · 1550 阅读 · 0 评论