Logstash模块之geoip

最新推荐文章于 2024-08-21 09:08:07 发布
最新推荐文章于 2024-08-21 09:08:07 发布
阅读量9.1k 收藏 2
点赞数
分类专栏： 网站运维 开发遇见的坑 文章标签： 数据分析 GeoIP Logstash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king7950/article/details/78412173
版权
本文探讨了Logstash中geoip模块在数据分析时遇到的问题，包括数据源限制导致的部分地区信息缺失，存在数据错误，如地名拼音不准确，以及手机IP无法解析为具体地理位置。通过对数据源GeoLite2-City.mmdb文件的分析，揭示了这些问题的原因。
摘要由CSDN通过智能技术生成

Logstash模块之geoip

在对Logstash的实际应用中，为了从日志中ip获取到用户访问时的所在地，用到了geoip这个模块。刚开始使用时并未注意到一些细节，但在做数据分析的时候发现了geoip的坑

配置

关于geoip的配置这里就不阐述了，有兴趣的可以看看 logstash配置文件详解 或者查阅Logstash的官方文档

分析

如果配置正确，那么在logstash分析日志并输出的时候，通过geoip能获取到很多的信息，包括经纬度，国家，城市，地区等信息，需要注意的是这些信息并不是用户当前访问的实际地址，而是IP所在地（包括经纬度也只是当前城市）。例如，用户在北京故宫访问了你的站点，根据日志中的IP查询出来的结果只会显示北京。

那么问题来了，这是为什么呢？

在logstash中找到geoip相关的文件夹找到了答案，路径是/logstash-5.2.0/vendor/bundle/jruby/1.9/gems/logstash-filter-geoip-4.0.4-java/vendor/，在这个文件夹

最低0.47元/天 解锁文章
拉小马
关注
专栏目录
Logstash过滤器--Geoip
春天的道路依然充满泥泞！
10-25 5735
Geoip过滤器可以给IP地址添加地理位置信息，包括归属地、经纬度等。Geoip参考的数据库是Maxmind，同时它也可以让用户设置自己的查询数据库。Geoip的基本配置：geoip { source => ... }配置参数：1. add_fieldfilter { geoip { add_field => { "foo_%{somefield}" => "Hello worl
logstash利用geoip获取IP地理位置信息
Jepson的博客
07-04 1085
我们在用logstash收集日志时，有时需要将日志中的IP地址映射出具体的地理位置信息，logstash中geoip过滤器提供了这个功能.由于geoip为免费IP库，存在部分IP无法获取到省份城市信息。GeoLite2-City.mmdb 可在。logstash中默认的geoip插件位于。
GeoIP2-java 开源项目教程
最新发布
gitblog_00938的博客
08-21 313
GeoIP2-java 开源项目教程 GeoIP2-javaJava API for GeoIP2 webservice client and database reader项目地址:https://gitcode.com/gh_mirrors/ge/GeoIP2-java 项目介绍 GeoIP2-java 是由 MaxMind 提供的一个 Java 库，它允许开发者轻松地将 IP 地址映射到...
ELK logstash 过滤插件：GeoIP
小楼一夜听春雨，深巷明朝卖杏花
12-29 2267
过滤插件：GeoIP Description The GeoIP filter adds information about the geographical location of IP addresses, based on data from the Maxmind GeoLite2 databases. GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址地理位置的信息。 过滤插件：GeoIP（能够将日志当中的IP解析为具体的地理位置，这个必须要有数据.
ELS-logstash的geoip使用
weixin_44288087的博客
01-17 718
logstash得grok可以对收集得数据进行过滤，geoip可以对过滤后得数据字段再进行细分，然后根据内建得geoip库来得知访问得ip来自于哪个城市了。官方文档详解地址https://www.elastic.co/guide/en/logstash/current/logstash-config-for-filebeat-modules.html#pa...
logstash 6.3.2 geoip
wanglei_storage的博客
09-12 3541
一、GEOIP 1、说明 GeoLite2 数据库是一个免费的 IP 地理定位数据库，与 MaxMind 的 GeoIP2 数据库有一定可比性，但不如后者准确。GeoLite2 Country 与 City 数据库在每月的第一个周二更新。GeoLite2 ASN 数据库的更新时间为每周二。 IP 地理定位在本质上缺乏准确性。地点通常接近人口的中心。 由 GeoIP 数据库提供的任何地点均不应...
logstash-filter-geoip-cn.zip
03-27
在Logstash中，filter模块负责对输入的数据进行各种转换和处理，以满足特定的需求。"logstash-filter-geoip-cn.zip" 文件显然是针对Logstash设计的一个过滤器插件，目的是将IP地址解析为中文的地理位置信息。 GeoIP...
logstash-7.6.0.tar.gz
02-23
4. **插件系统**: Logstash的强大之处在于其丰富的插件生态系统。输入插件如file、udp、tcp等，允许从不同源头获取数据；过滤器如grok、mutate、date等，可以处理和转换数据；输出插件如elasticsearch、stdout、...
最新版windows logstash-7.14.0-windows-x86_64.zip
08-04
1. **输入插件（Input Plugins）**：输入插件是Logstash用来接收数据的模块。例如，File Input插件可以从本地文件系统读取日志文件，JDBC Input插件可以连接数据库并检索数据。在7.14.0版本中，Logstash可能包含了...
3.Logstash配置语法
大勇若怯任卷舒
03-10 2020
3.1 Logstash的语法 Logstash 设计了自己的 DSL，基本的语法功能包括有： 区域 注释 数据类型(布尔值，字符串，数值，数组，哈希)  条件判断 字段引用等 3.2 区段(section) Logstash 用 {} 来定义区域。区域内可以包括插件区域定义，你可以在一个区域内定义多个插件。 插件区域内则可以定义键值对设置。示例如下： 3.3 数据类型 Logstash 支持少量的数据值类型： bool debug => true string host
Logstash系列之--Geoip地理信息汉化
m0_37911384的博客
03-27 2125
说明 我们使用默认的logstash-filter-geoip插件解析IP地理信息时，得到的结果是英文显示，有时候我们希望把他转化成中文，方便前端调用显示，这时候我们需要搭建geoip环境，修改jcity.getName()为city.getNames().get("zh-CN")。然后生成gem文件，安装到logstash中。 插件下载地址： https://download....
logstash常用的filter插件-grok、geoip
lpx1249115962的博客
08-27 388
将解析后的结果存储到指定的字段，若不指定，则默认覆盖原有的"@timestamp"字段哟！# 将Geoip解析的数据放在一个字段中，若不指定，则默认放在"geoip"字段中.# 如果设置为UTC时间，时区是不准确的！
Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置
江晓龙的博客
07-13 1034
GeoIP插件可以根据Maxmind Geolite2数据库中的数据展现出相关IP地址的地理位置信息。使用GeoIP获取IP地址的地理位置信息需要事先准备一个数据库，这个数据库中需要记录有关IP的地址位置信息，当然这个IP需要是公网IP，私网IP是无法获取其地理信息的。Maxmind Geolite2数据库企业版经纬度精确，免费版精确度略低。GeoIP常用字段：Geo相关数据库文件的下载地址： 3.配置Logstash使用GeoIP获取用户IP的地址位置信息 使用geoip之前先要使用grok过滤出用户IP
【ELK】logstash中geoip.location获取及格式问题
nmjuzi的博客
04-24 1527
问题描述 一开始我的架构是nginx=>fieabeat6.5=>es6.5，在grafana中地图数据是能正常获取的 后来我将架构改为nginx=> 如图所示，数据是正常得到了location字段，但我想获取geoip.location得到的却是geoip.location.lon和geoip.location.lat ...
ELK之LogStash插件grok和geoip的配置使用
一掬净土
10-17 653
后，往 /tmp/access.log 中新增一条数据，看输出：发现"clientip" 变成了 “cip” 和timestamp agent 字段已经没有了。后，往 /tmp/access.log 中新增一条数据，看输出：发现输出结果中新增了。geoip插件可以针对IP地址进行地理位置信息来源的查找。字段，并展示了地区、国家、省份、经纬度等地理位置信息。使用geoip过滤器插件，可以增强数据。
Day05-filebeat常用的输出组件，logstash的输入输出组件及date，grok，geoip过滤插件实战案例
苦难带不走梦想
07-15 813
(2)filebeat采集数据到logstash。(4)基于命令行启动logstash实例。(4)基于命令行启动logstash实例。(1)编写logstash配置文件并启动。(2)启动filebeat实例并写入数据。(1)logstash配置文件编写。(3)验证logstash版本。(2)启动logstash实例。(1)logstash配置文件。(1)logstash配置文件。(2)filebeat配置文件。(2)安装logstash。(5)测试logstash。(5)测试logstash。
ELK详解（二十四）——geoip画访问地域热图
永远是少年
04-11 3073
今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash配置geoip，使用Kibana画访问热点地图。 一、Logstash安装geoip插件 二、Logstash配置 三、Kibana绘图展示
Logstash利用GeoIP库显示地图以及通过useragent显示浏览器
my_bai的博客
03-29 2264
一、下载GeoIP数据库 # cd /etc/logstash/ # wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz # gzip -d GeoLiteCity.dat.gz  　　Linux系统MaxMind提供了GeoIP更新程序，可以自动更新数据库。CentOS可以通过epe
logstash geoip
08-31
Logstash GeoIP 是 Logstash 插件中的一个功能，它用于将 IP 地址映射到地理位置信息。通过使用 GeoIP 数据库，Logstash GeoIP 插件可以将输入数据中的 IP 地址转换为相关的地理信息，如国家、省份、城市、经纬度等...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值