ElasticSearch - 抓取ES数据到本地文件

• 使用此脚本可以将ES上的数据抓取到本地文件，因为使用ES scroll实现，所以不受限于limit 10000笔影响
• 需要提前安裝 jq command
  • Linux 安裝 : sudo apt install jq
  • Centos 安裝 : sudo yum install jq
  • MacOS 安裝 : brew install jq

#!/bin/bash
# ------------------------------------------------------------------------------
# Filename : scroll_es_data.sh
# Revision : 1.0
# Date : 2019-06-12
# Author : junwei.gu
# Email : pk74323jacky@163.com
# Description : 抓取ES数据到本地文件
# ------------------------------------------------------------------------------

# 存放文件路径
FILE="/Users/kujudy/tools/es_data/scroll_temp"

# ES访问地址
HOST=""
# ES index
INDEX=""
# ES type
TYPE=""

#scroll数据
function scroll(){
    search_dsl='
        {
            "query": {
                "match_all": {}
            },
            "size": 100
        }
        '

    json=$(