nodejs使用elasticsearch检索某个时间段的数据

const elasticsearch = require('elasticsearch');
const moment = require('moment');

const date = moment().format('YYYY-MM-DD');

async function test(){
    console.time("test");
    result = await es_getlogInfo();
    console.timeEnd("test")
}
/**
 * 从ES里面检索出当天的日志记录含有xxxxxxx的信息
 */
async function es_getlogInfo() {
    let result = new Map();
    let result_data = [];
    let new_result_data = [];

    // es检索的条件
    const search_info = {
        scroll: '10m',
        type: 'gx-app-cluster',//只获取日志类型的数据,相当于table
        size: 5000,
        body:  {
           query: {
               bool: {
                   must : [{
                       query_string : { default_field : "message", query : "xxxxxxx" },
                   }],
                   filter: {
                       range: { "time": { "gte": "now-1d", "lte": "now"} }
                   }
               }
           }
        }
    };

    const scroll_info = {
        scroll: '10m',
    };

    const es_client = new elasticsearch.Client({
        host: 'https://xxxxxx-es.amazonaws.com/',
        log: 'error'
    });

    let data_list =[];
    let platform_ist = [];//平台记录
    let platform_ist_new = [];//今天新出现的平台记录
    
    try {
        const f_retemp = await es_client.search(search_info);
        scroll_info.scroll_id =  f_retemp._scroll_id;
         while (true) {
            const retemp = await es_client.scroll(scroll_info);//翻页查询
            if (retemp.hits.hits.length === 0) {
                break;
            }
            data_list.push.apply(data_list, retemp.hits.hits);
        } 
        for (const value of data_list) {
            let log_data = value._source.meta;
            const platform = log_data.platform;
            if(!platform_ist.includes(platform) && !platform_ist_new.includes(platform)) { //不包含该平台记录
                let query_str = "(message:xxxxxxx) AND (meta.platform:"+platform+")"
                const search_info_new = {
                    type: 'gx-app-cluster',//只获取日志类型的数据,相当于table
                    body:  {
                        query: {
                            bool: {
                                must : [{
                                    query_string :{"query": query_str}
                                }],
                                filter: {
                                    range: { "time": { "lte": "now-2d"} }
                                }
                            }
                        }
                    }
                };
                const new_retemp = await es_client.search(search_info_new);
               if (new_retemp.hits.hits.length === 0) { //说明是今天新出现的
                    platform_ist_new.push(platform);
                    try {
                        let error_msg = log_data.error_info.data.error_msg;
                        new_result_data.push('</br>'+platform + ":"+error_msg);
                    } catch (e) {
                        console.log("错误数据为:",log_data);
                    }
                } else {
                    platform_ist.push(platform);
                    try {
                        let error_msg = log_data.error_info.data.error_msg;
                        result_data.push('</br>'+platform + ":"+error_msg);
                    } catch (e) {
                        console.log("错误数据为:",log_data);
                    }
                }
            }
        }
        result.set("result_data", result_data);
        result.set("new_result_data", new_result_data);
        return result;
    } catch(err) {
        console.trace(err.message);
        return;
    }
}
test();


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值