已在使用的elk7.7，增加地图展示

于 2023-03-17 17:55:56 发布
阅读量189 收藏
点赞数
文章标签： nginx elasticsearch 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CC__Vbird__YDD/article/details/129624318
版权

1、增加kibana的配置

cat kibana.yml
map.tilemap.url: 'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'

2、下载地图数据文件

wget https://raw.githubusercontent.com/texnikru/GeoLite2-Database/master/GeoLite2-City.mmdb.gz

3、修改logstash的配置

input {
  beats {
    port => 5044
    host => "0.0.0.0"
  }
}

filter { 
  grok {
    match => {
      "message" => ["%{IPORHOST:clientip} - %{DATA:username} \[%{HTTPDATE:request-time}\] \"%{WORD:request-method} %{DATA:request-uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:useragent}\""]
    }
  }
  mutate {
    remove_field => [ "message"]
    convert => ["body_sent_bytes", "float"]
  }
  geoip {
    source => "clientip"
    target => "geoip"
    #地图数据文件:
    database => "/usr/share/logstash/GeoLite2-City.mmdb"
    #获取经纬度
    add_field => ["[geoip][coordinates]","%{[geoip][longitude]}"]
    add_field => ["[geoip][coordinates]","%{[geoip][latitude]}"]
  }
  mutate {
    convert => [ "[geoip][coordinates]", "float" ]
  }
}
output {
  if [fields][jar_name] == "html" {
    elasticsearch{
      hosts => ["elasticsearch:9200"] 
      manage_template => false
      index => "nginx"
      codec => json
    }
  }
}

4、在es在中手动创建index

在kibana的Dev Tools工具中提交。

PUT /nginx
{ 
"mappings": {

      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "@version": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "agent": {
          "properties": {
            "ephemeral_id": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "hostname": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "id": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "version": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "body_sent_bytes": {
          "type": "float"
        },
        "clientip": {
          "type": "ip"
        },
        "ecs": {
          "properties": {
            "version": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "fields": {
          "properties": {
            "jar_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "geoip": {
		      "dynamic": true,
          "type": "object",
          "properties": {
            "city_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "continent_code": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "coordinates": {  #这个参数获取了经纬度type为：geo_point
              "type": "geo_point",
              "ignore_malformed": "true"
            },
            "country_code2": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "country_code3": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "country_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "dma_code": {
              "type": "long"
            },
            "ip": {
              "type": "geo_point",
              "ignore_malformed": "true"
            },
            "latitude": {
              "type": "float"
            },
            "location": { #这个参数获取了经纬度type为：geo_point
              "type": "geo_point",
              "ignore_malformed": "true"
            },
            "longitude": {
              "type": "float"
            },
            "postal_code": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "region_code": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "region_name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "timezone": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "host": {
          "properties": {
            "name": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "http_version": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "input": {
          "properties": {
            "type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "log": {
          "properties": {
            "file": {
              "properties": {
                "path": {
                  "type": "text",
                  "fields": {
                    "keyword": {
                      "type": "keyword",
                      "ignore_above": 256
                    }
                  }
                }
              }
            },
            "flags": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "offset": {
              "type": "long"
            }
          }
        },
        "message": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "referrer": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "request-method": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "request-time": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "request-uri": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "response_code": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "stream": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "tags": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "useragent": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "username": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }

}

5、如果是已有数据的index，想要保留原日志数据：

已有大量日志，则不建议如下操作，因为实在太慢了：

curl -XPOST "http://127.0.0.1:9200/_reindex" -H 'Content-Type: application/json' -d'{"source":{"index":"old_index"},"dest":{"index":"new_index"}}'

6、创建新的索引模式

新建的索引模式别把老的索引包含在内了，可能会让geoip.coordinates字段和geoip.location字段产生多个type值，导致map模块无法发现索引模式，比如创建nginx 而非nginx*

geoip.coordinates字段和geoip.location字段必须只有一个type值：“type”: “geo_point” ！！
在这里插入图片描述

7、创建地图

在这里插入图片描述
接下来的就自己去点吧…

Kdlyyy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK---特殊用法（kibana画图，地图）
2401_83977605的博客
05-25 252
2. 配置 logstash 使用地址库3. 创建地图4. 导入日志信息—并查看效果二. kibana 画图功能数据表，datatable热图，heatmap chart线图，line chartmarkdown饼形图，pie chart条形图：vertical bar chart坐标地图
elk 使用geoip添加地图展示
xp的博客
03-27 1525
logstash 查看可用插件 /usr/share/logstash/bin/logstash-plugin list --verbose 安装插件 /usr/share/logstash/bin/logstash-plugin install logstash-filter-geoip /usr/share/logstash/bin/logstash-plugin install log...
ELK 显示地图
lucky的专栏
02-21 783
ELK：5.1.1.1版本 --------------- 架构： nginx->logstash->redis->logstash->elasticsearch->kibana ------------------- 机器： nginx  logstash1 redis ：123.56.222.120 logstash2 elasticsearch k...
ELK系列知识地图（待完善）
soso的博客
12-25 682
前言 最近公司开始尝试es进行一些查询统计，其实自己在之前有过两次es尝试经验，但是对es的相关了解还是不够深入详细。 这里的文档是自己根据官网文档，网上各位前辈大佬已经总结过的经验知识，结合自己目前的尝试进行记录总结，也希望能带给其他人一些借鉴。 正文 目前最新的版本是7.10，我使用的版本是7.8，所以文档基本是以7.8为基准。 刚开始写，时间也不稳定，希望大家一同进步。 官网文档入口： https://www.elastic.co/guide/index.html 各分入口： Elasticsearc
ELK7.10.1绘制热力地图Kibana无法识别geo_point
bbq烤鸡的后宫
01-29 988
ELK7.10.1绘制IP热力地图Kibana无法识别geo_point找不到索引前言操作■ 选用高德地图■ 创建地图■ 创建geo_point① 查看② 修改数据格式③ 设置数据类型④ 重新创建索引模式■ 添加图层最后 前言 ELK分析日志非常强大，而相关的资料又非常少，并且随着版本升级，旧版配置不兼容新版导致很多坑，本文提供解决访问IP热力地图绘制问题方案。 操作 ■ 选用高德地图 默认是英文地图看着很不习惯，改用高德地图。 配置config下的kibana.yml。 添加配置 map.tilemap.
解决ELK地图可视化时无法识别location坐标（geo_point）及字段映射冲突问题
zhangjunfun的专栏
08-17 1336
在使用ELK进行日志数据的可视化时，可以通过logstash地理插件（geoip）将IP地址转换为地理坐标，然后我们就可以利用坐标实现热力图、地区分布图等地图可视化数据。 但是在实际操作过程中，在定制图表的时候，会出现无法识别地理坐标（geo_point）的问题，在此对如何解决该问题汇总一二。 问题原因： kibana在绘制地图数据需要用到地理坐标数据时，必须是geo_point类型，如果location经纬度坐标是number或String类型，则会出现无法识别的问题。 解决方案： 1）在Log
ELK-快速入门使用
03-03
ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana。...使用Kibana，可以通过各种图表进行高级数据分析及展示。Logstash是一款基于插件的数据收集和处理引擎。Logstash配有大量的插件，
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体...
ELK在Spark集群的应用
02-25
大数据处理技术越来越火,云计算平台也如火如荼,二者犹如IT列车的两个车轮,相辅相成,高速发展。...目前，日志分析工具多达数十种，其中应用较多的有Splunk、ELK、AWStats、Graphite、LogAnalyzer、Rsyslo
ELK详解（二十四）——geoip画访问地域热图
永远是少年
04-11 3016
今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash配置geoip，使用Kibana画访问热点地图。 一、Logstash安装geoip插件 二、Logstash配置 三、Kibana绘图展示
ELk之使用kibana展示访问IP地图
abtmh02622的专栏
06-18 848
　　参考文档：http://blog.51cto.com/ls40905250/1915280 　　　　　　　https://blog.csdn.net/zsjwish/article/details/79792212 　　　　　　　https://blog.csdn.net/yanggd1987/article/details/50469113 　　安装logstash的geoi...
【lnmp+ELK+Nginx+GeoIP】超详细新版ELK8.5.0解析收集Nginx日志并实现数据可视化与IP地址地图可视化教程-2022年11月版
我祝你身体健康～一千遍——也～不够～～～～够！！！
11-18 2652
超详细新版ELK8.5.0+lnmp1.9解析收集Nginx日志并实现数据可视化与IP地址地图可视化教程-2022年11月版)
Kibana使用高德地图
码农后花园
03-29 6657
本文为转载，原文地址：http://www.jianshu.com/p/07b82092d4af说明目前Kibana默认自带的地图全部是英文，更换高德地图对地图汉化修改配置 编辑kibana配置文件kibana.yml，最后面添加 tilemap.url: 'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&sty
Elasticsearch：如何制作 GeoJSON 文件并进行地理位置搜索
Elastic 中国社区官方博客
04-15 3099
我发现我之前的文章 “Elasticsearch：使用 Elasticsearch 进行地理位置搜索” 还是蛮手欢迎的。我觉得大家喜欢是因为里面还有一些图片把复制的问题简单化，一目了然。在使用 Geo search 进行讲解时，如果能在地图上清楚地展示各个文档，边界，那么一切问题就变得非常简单了。在今天的文章中，我来讲述如何使用 GeoJSON 来创建一些边界。这对于展示一些搜索非常有用。 GeoJSON 文件格式 我们首先来看一下一个简单的 GeoJSON 文件格式： sample.json .
elk6.x之kibana展示GEOIP中文地图
linux_s2018的博客
03-20 5120
环境：CentOS6.8，elk6.4 GEOIP是logstash的一个过滤插件，作用是分析访问IP获取地理位置 使用GeoIP更新 MaxMind提供GeoIP更新程序，该程序为GeoIP2和GeoIP Legacy二进制数据库执行自动更新。请按照以下说明操作 第1步 - 安装GeoIP更新 下载免费GEOIP2库（以前的GEOIP旧数据库官方不再维护） 这边以rpm包为例，其他方...
ELK7.x 收集nginx日志支持地图显示Kibana 地标图可视化
h952520296的博客
09-11 1254
一 下载geoip 官网 地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 我下的是这个包 GeoLite2-City 不知道别的有什么区别 下载 然后解压到 /usr/share/logstash/ 这个目录 yum install geoipupdate vim /etc/GeoIP.conf 添加 ProductIds GeoLite2-City ll /usr/share/GeoIP 二 更改nginx配置文件，设置nginx日志
如何利用GeoIP与ELK（Elasticsearch、Logstash与Kibana）映射用户位置
热门推荐
zstack_org的博客
03-13 1万+
提供：ZStack云计算 系列教程本教程为在CentOS 7上利用Logstash与Kibana实现集中化日志记录系列五篇中的第五篇。本教程为利用ELK堆栈(Elasticsearch、Logstash与Kibana)在Ubuntu 14.04上实现集中化日志记录系列五篇中的第五篇。内容简介IP地理位置用于确定IP地址的物理位置，可被用于多种实际场景，包括内容个性化与流量分析等等。根据地理位置进行流
ELK的索引的坑——Kibana的图形化（Tile Map）
weixin_33849942的博客
06-12 698
如果想通过ELK展示地图， 需要将索引名称修改为：logstash*的格式 否则location字段不会修改成geo_point的形式。   详情参考：http://blog.csdn.net/yanggd1987/article/details/50469113...
.net 使用elk
最新发布
03-13
ELK是一套开源的日志管理和分析平台，由Elasticsearch、Logstash和Kibana三个组件组成。而.NET是一种跨平台的开发框架，用于构建各种类型的应用程序。在.NET中使用ELK可以实现对应用程序的日志进行收集、存储、分析和可视化展示。 首先，Logstash是ELK中的数据收集引擎，它可以从各种来源（如文件、数据库、消息队列等）收集日志数据，并进行过滤、转换和解析。在.NET中，你可以使用Logstash提供的各种输入插件来收集应用程序的日志数据。 其次，Elasticsearch是一个分布式的搜索和分析引擎，它可以存储和索引大量的日志数据，并提供强大的搜索和聚合功能。在.NET中，你可以使用Elasticsearch的.NET客户端库来与Elasticsearch进行交互，将收集到的日志数据存储到Elasticsearch中。 最后，Kibana是ELK中的可视化工具，它可以通过图表、仪表盘等方式展示存储在Elasticsearch中的日志数据。在.NET中，你可以使用Kibana提供的REST API或者.NET客户端库来查询和展示Elasticsearch中的日志数据。 总结一下，在.NET中使用ELK可以通过使用Logstash收集应用程序的日志数据，使用Elasticsearch存储和索引这些日志数据，然后使用Kibana进行可视化展示和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值