学习记录
wcl_24
这个作者很懒,什么都没留下…
展开
-
学习记录:Scala解析ElasticSearch RestfulAPI返回的JSON字符串并提取内容转换成DataFrame
由于需要从返回报文里面解析JSON字符串 并提取内容,学习了下相关API用法 需要解析的JSON字符串格式如下所示: { "took": 13, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0原创 2019-01-10 10:32:34 · 1137 阅读 · 0 评论 -
学习记录:Scala通过ElasticSearch RestfulAPI使用scroll查询数据
在一次本地IDE调试运行数据处理任务时,需要全量查询数据再转换成DataFrame进行操作,但因为ElasticSearch默认设定一次查询的最大条数是10000,因此没法一次查询全量数据。查询了资料后发现可以使用scroll(滚动)查询来获取全部数据,类似与oracle的游标查询。 Scroll查询在kibana的DevTools中用法如下所示: // 设定scroll=1m表示scrol...原创 2019-01-10 11:11:48 · 1831 阅读 · 0 评论