logstash的安装可参考上一篇博客。
最近公司在处理大数据方面做技术选型工作,目前进入视野范围的有elasticsearch,crate,druid.io。
本文将讲述如何将elasticsearch中的数据导出到json文件。
首先,看配置信息:
input{
elasticsearch {
hosts => ["10.0.0.101:9200","10.0.0.102:9200","10.0.0.103:9200"]
index => "weblogs"
type => "weblog"
size => 1000
scroll => "5m"
docinfo => false
}
}
output{
file {
path => "weblogs-data.json"
}
# stdout {
# codec => json_lines
# }
}
将上述配置存储为conf文件,如【es-json.conf】,进入logstash的bin目录下,执行:
./logstash -f es-json.conf
等待导出完成即可。
导出完成后,可将导出完成的json文件导入到crate中。
crate admin面板中执行以下sql即可将json文件中的数据导入到crat