logstash 将数据库中的经纬度 转化成 geo_point 类型

最新推荐文章于 2024-06-16 06:30:00 发布
最新推荐文章于 2024-06-16 06:30:00 发布
阅读量5.6k 收藏 3
点赞数 1
分类专栏： ELK 文章标签： logstash geo_point kibana
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012666689/article/details/83379430
版权
本文介绍了如何在ELK环境中，利用Logstash将数据库中的经纬度数据转换为Kibana坐标地图所需的geo_point类型。在转换过程中，通过设置filter将经纬度字段赋值给新的变量`geoip.location`并转换为float类型，遵循经度在前的数组格式。由于Logstash不区分字段名大小写，作者在初期未能正确获取数据库字段值，最终发现并修正了大小写问题，成功实现了数据转换。示例中使用的index命名遵循logstash-*模板，以便利用内置转换功能。
摘要由CSDN通过智能技术生成

最近在使用ELK工具，主要是使用kibana进行数据可视化，该工具非常方便，墙裂推荐！！！

要使用coordinate map时，需要将数据转换成它需要的geo_point类型，网上有很多使用geoip插件将ip转换成经纬度的教程，这里没有ip，只有经纬度数据。

下图为geo_point的几种形式，这里我采用的是最后一种，数组的格式

由于我不太懂这里面的语法，只是简单的使用，所以这里只能给出我的解决方案，以及踩过的坑，没有原理解释。

主要在filter中，“rdc_lon”和“rdc_lat”为我数据库中的字段名称，首先将经纬度的值赋给新的变量 geoip.location，然后将其转化为float类型，要注意的是【经度，纬度】，数组格式经度在前。

将其转换为float后，第二步是将location变成 geo_point的类型，我没有自己写模板，logstash自带的用来处理日志的logstash-*模板就能完成此种转换，因

最低0.47元/天 解锁文章
yessica_Chen
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Logstash7.0.0同步MySQL数据到ES，并存储geo位置信息，以及支持写入分词功能
浅汐
04-08 7万+
场景： 1. 数据来源是python爬虫获取美团、安居客的数据，使用Java进行ETL清洗后，批量插入MySQL中，由于MySQL在千万级甚至亿级数据量的激增下，查询缓慢，以及部分功能不能支持业务的需求，比如分词。。。等 2. 调研组件Hive，发现Hive对于GIS的支持并不友好，首先Hive不支持创建表时指定字段为geometry类型，这就很尴尬了，对于使用GIS函数的功能，官方并不支持，...
logstash 自定义生成 geoip/自定义的经纬度转换为 geo_point 类型
浮生若梦
11-03 3598
geo_point 的几种类型 首先将经纬度的值赋给新的变量 geoip.location，然后将其转化为float类型，要注意的是【经度，纬度】，数组格式经度在前。 mutate { add_field => ["[geoip][latitude]", "%{[lat]}"] add_field => ["[geoip][longitude]", "%...
【DevOps】Logstash详解：高效日志管理与分析工具
最新发布
Coder加油站的专栏
06-16 7327
Logstash是一个强大的数据处理工具，用于收集、过滤、转换和发送日志数据。它具有灵活的架构、丰富的插件和功能，以及广泛的社区和支持。通过使用Logstash，您可以轻松地处理和分析大规模的日志数据，并从中提取有用的信息和洞察。无论是在单个服务器上还是在分布式环境中，Logstash都能提供出色的性能和可伸缩性。随着Elastic Stack的不断发展，Logstash也将继续演进和改进，以满足不断变化的日志处理需求。
elk-01d.logstash将mysql经纬度数据转为geo_point
Little_fxc的博客
12-14 570
目标：通过logstash同步，将mysql 中的经纬度字符串转为 es 中的geo_point类型这种
logstash filter 处理geo_point
aganliang的专栏
05-17 636
input { stdin { } file { path => ["/home/aganliang/es/downloads/logstash-7.6.2/myconfig/data/poi-3.json"] start_position => "beginning" sincedb_path => "/dev/null" } } filter { json { source => "message" # target =...
使用Logstash将MySQL经纬度数据转换为es geo同步到Elasticsearch以及遇到的问题
热门推荐
君归北阙朝天帝的博客
12-31 1万+
首先必须安装了logstash并且有logstash-input-jdbc和logstash-output-elasticsearch这俩插件。 Elasticsearch 提供了 两种表示地理位置的方式：用纬度－经度表示的坐标点使用 geo_point 字段类型； 以 GeoJSON 格式定义的复杂地理形状，使用 geo_shape 字段类型。 这里我用的是geo_point的字段类型；这种字段类型有三种格式（官方例子）： 1. { "name": "Chipotle Mexican Gril
logstash利用geoip获取IP地理位置信息
Jepson的博客
07-04 1053
我们在用logstash收集日志时，有时需要将日志中的IP地址映射出具体的地理位置信息，logstash中geoip过滤器提供了这个功能.由于geoip为免费IP库，存在部分IP无法获取到省份城市信息。GeoLite2-City.mmdb 可在。logstash中默认的geoip插件位于。
ELK生态：Logstash通过sql导入地理坐标到ES，数据格式为对象
alan_liuyue的博客
06-17 1744
简介 1.ELK生态之Logstash通过sql导入地理坐标GeoPoint数据到Elasticserch； 2. 数据源：mysql数据表，数据表含地理坐标——lon(经度)，lat(纬度)； 3. Elasticsearch和Logstash版本：5.6.1； 4. GeoPoint地理位置信息可以使用三种数据格式表示： (1) 以半角逗号分割的字符串形式表示——"lat,lon...
Kibana：高德地图经纬度展示
高矮
01-03 2334
kibana版本：6.1.2 elasticsearch版本：6.1.2 1、kibana中文版高德地图 Kibana 配置文件kibana.yml修改，添加如下内容： tilemap.url: 'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}...
logstash之filter-Geoip寻找日志ip的经纬度和城市及Key-value拆分
传智燕青
11-24 1609
geoip查询 logstash可以将nginx的非格式化日志进行格式化(参考https://blog.csdn.net/weixin_44062339/article/details/103221269)，那么在nginx的日志中有IP；往往会根据ip定位当前的地理位置， 然后在kibana上以高德地图做展示； Vim /conf/template/geoip.conf 启动：bin/logst...
ELK分析日志利用高德地图显示IP地理位置
12-14
ELK分析日志利用高德地图显示IP地理位置，对于刚接触ELK，并且安装，最佳新手选择。
解决ELK地图可视化时无法识别location坐标（geo_point）及字段映射冲突问题
zhangjunfun的专栏
08-17 1366
在使用ELK进行日志数据的可视化时，可以通过logstash地理插件（geoip）将IP地址转换为地理坐标，然后我们就可以利用坐标实现热力图、地区分布图等地图可视化数据。 但是在实际操作过程中，在定制图表的时候，会出现无法识别地理坐标（geo_point）的问题，在此对如何解决该问题汇总一二。 问题原因： kibana在绘制地图数据需要用到地理坐标数据时，必须是geo_point类型，如果location经纬度坐标是number或String类型，则会出现无法识别的问题。 解决方案： 1）在Log
[elk]-kibana根据es索引创建坐标地图geo-ip(不使用logstash)
爷来辣的博客
01-17 1960
kibana根据es索引创建坐标地图geo-ip(不使用logstash) filebeat配置文件 filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/access.log json.keys_under_root: true json.overwrite_keys: true t...
JAVA经纬度互转、计算工具类
qq_40083897的博客
08-03 5410
import com.wh.whcloud.core.base.util.StringUtil; import lombok.extern.slf4j.Slf4j; /** * 经纬度工具类 */ @Slf4j public class LonlatUtils { /* public static void main(String[] args) { System.out.println(DmTurnD("120°39.516'")); System.out..
ElasticSearch for GIS应用
GIS+=地理信息+云计算+大数据+容器+物联网+...
09-01 8134
基础介绍 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。 Ela
logstash filter 过滤器详解
magic_kid_2010的专栏
05-10 1万+
logstash filter 插件详解
logstash mutate 类型转换
trigfj的博客
11-09 685
logstash mutate 类型转换
logstash 中是否使用in_time_zone
05-30
在 Logstash 中，可以使用 Date 插件来处理日期和时间字段。该插件提供了 `timezone` 选项，用于指定输入数据的时区。 例如，如果你的输入数据中的时间字段是以 UTC 时间存储的，但你希望在输出数据中将其转换为另一个时区的时间，你可以使用 `timezone` 选项指定输入数据的时区，然后使用 `convert` 选项将时间字段转换为指定时区的时间。 以下是一个示例配置文件： ``` input { # 从 Elasticsearch 中读取数据 elasticsearch { hosts => ["localhost:9200"] index => "my_index" } } filter { # 将时间字段转换为指定时区的时间 date { match => ["timestamp", "ISO8601"] timezone => "UTC" target => "timestamp_local" convert => true } } output { # 输出数据到 Elasticsearch elasticsearch { hosts => ["localhost:9200"] index => "my_index_local" } } ``` 在上面的示例中，使用 `date` 过滤器将输入数据中的 `timestamp` 字段转换为 UTC 时间，然后将其转换为指定时区的时间，并将结果存储到 `timestamp_local` 字段中。在输出数据时，可以将 `timestamp_local` 字段用作时间字段。 需要注意的是，Logstash 中的 `date` 过滤器不支持所有 Ruby 的 `Date` 和 `DateTime` 方法，因此在处理日期和时间时应该谨慎。另外，如果你的输入数据中的时间字段已经是以指定时区存储的，那么不需要使用 `timezone` 和 `convert` 选项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值