listenFen的博客

从ES里取数一、设置每次抽取条数1.获取ES索引数据量获取数据的方法与我之间写过的kettle从ES中抽数的文章中是一样的，只是本次抽数是为了获取索引的总条数，即total字段1. 设置请求头参数2. 获取数据（因为是之间对ES请求，所以返回的数据未被封装，数据结构即为原始的数据结构）3. 根据总条数设置页数代码如下：public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws Ket

现象：ES默认返回数据量为10000条， 当分页的from超过10000条的时候，es就会如下报错：Result window is too large, from + size must be less than or equal to:[10000] but was [10500]. See the scroll api for a more efficient way to requestlarge data sets. This limit can be set by changing the[