golang 获取es 日志

package es

import (
    "bytes"
    "context"
    "encoding/json"
    "errors"
    "fmt"
    elasticsearch "github.com/elastic/go-elasticsearch/v6"
    log "github.com/sirupsen/logrus"
)

var es *elasticsearch.Client
var esAddr string = "http://ip:port" // es 地址及端口
var esIndex string = "job*"   // index 前缀,表示获取job*的所有index

func init() {
    var err error
    config := elasticsearch.Config{}
    config.Addresses = []string{esAddr}
    es, err = elasticsearch.NewClient(config)
    if err != nil {
        log.Error(err.Error())
    }
}

func SearchByJob(job string) (*string, error) {  //通过job名称获取es日志
    var (
        buf bytes.Buffer
        r   map[string]interface{}
        bt  bytes.Buffer
    )
    query := map[string]interface{}{
        "query": map[string]interface{}{
            "match_phrase": map[string]interface{}{
                "kubernetes.labels.tf-job-name": job,  //具体的查询条件,可以根据日志格式进行修改
            },
        },
        "_source": map[string]interface{}{
            "includes": []interface{}{
                "log",
            },
        },
        "sort": map[string]interface{}{  // 排序
            "@timestamp": map[string]interface{}{
                "order": "asc",
            },
            "_id": map[string]interface{}{
                "order": "asc",
            },
        },
    }
    //fmt.Println(query)
    if err := json.NewEncoder(&buf).Encode(query); err != nil {
        log.Errorf("Error encoding query: %s", err)
        return nil, err
    }
    res, err := es.Search(
        es.Search.WithContext(context.Background()),
        es.Search.WithIndex(esIndex),
        es.Search.WithBody(&buf),
        es.Search.WithTrackTotalHits(true),
        es.Search.WithPretty(),
        es.Search.WithSize(100000),
    )
    if err != nil {
        log.Errorf("Error getting response: %s", err)
        return nil, err
    }
    defer res.Body.Close()
    fmt.Println(res)
    if res.IsError() {
        log.Error(res)
        return nil, errors.New(fmt.Sprint(res))
    }
    if res.StatusCode != 200 {
        log.Errorf("request error: %d", res.StatusCode)
        return nil, err
    }
    //fmt.Println(res)
    if err := json.NewDecoder(res.Body).Decode(&r); err != nil {
        log.Errorf("Error parsing the response body: %s", err)
        return nil, err
    }
    log.Infof("log length: %d", len(r["hits"].(map[string]interface{})["hits"].([]interface{})))
    for _, hit := range r["hits"].(map[string]interface{})["hits"].([]interface{}) {
        bt.WriteString(fmt.Sprintf("%s", hit.(map[string]interface{})["_source"].(map[string]interface{})["log"]))
    }
    logs := bt.String()
    //fmt.Println(logs)
    return &logs, nil
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值