hive清洗nginx日志之根据IP获取对应城市

最新推荐文章于 2023-09-25 12:05:06 发布
最新推荐文章于 2023-09-25 12:05:06 发布
阅读量632 收藏 1
点赞数
分类专栏： 大数据 文章标签： hive nginx tcp/ip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48959845/article/details/125351085
版权

需求：在nginx日志清洗中根据IP查询对应地点

1，清洗后数据如下

在这里插入图片描述

2，需要查询出IP对应的国家，地区，省份，城市，运营商

3，自定义UDTF

1，创建maven工程，
2，引入依赖
		<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.2</version>
        </dependency>
3，继承GenericUDTF重写initialize，process，close
package cn.dim;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.lionsoul.ip2region.DataBlock;
import org.lionsoul.ip2region.DbConfig;
import org.lionsoul.ip2region.DbSearcher;
import org.lionsoul.ip2region.Util;

import java.io.File;
import java.io.IOException;
import java.lang.reflect.Method;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

/**
 * @version 1.0
 * @Author:杨杰
 * @Date:2022/6/15 15:55
 */
public class DIMNginx extends GenericUDTF {

    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        List<String> colNames = new ArrayList<>();
        List<ObjectInspector> fieldIOs = new ArrayList<>();

        colNames.add("ip");
        colNames.add("country");
        colNames.add("region");
        colNames.add("province");
        colNames.add("city");
        colNames.add("operator");
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(colNames,fieldIOs);
    }

    @Override
    public void process(Object[] objects) throws HiveException {

        String cityInfo = null;
        try {
            cityInfo = getCityInfo(objects[0].toString());
        } catch (MalformedURLException e) {
            e.printStackTrace();
        }

        String[] result = new String[6];

        result[0] = objects[0].toString();
        result[1] = cityInfo.split("\\|")[0];
        result[2] = cityInfo.split("\\|")[1];
        result[3] = cityInfo.split("\\|")[2];
        result[4] = cityInfo.split("\\|")[3];
        result[5] = cityInfo.split("\\|")[4];

        forward(result);

    }

    @Override
    public void close() throws HiveException {

    }
}
1，引入ip2region（一个IP查询库，准确率99.9%的离线IP地址定位库，0.0x毫秒级查询，ip2region.db数据库只有数MB，提供了java,php,c,python,nodejs,golang,c#等查询绑定和Binary,B树,内存三种查询算法，比以往我们自己调网上的接口方便多了）
		<dependency>
            <groupId>org.lionsoul</groupId>
            <artifactId>ip2region</artifactId>
            <version>1.7.2</version>
        </dependency>
2，下载ip2region.db，需要的评论区告诉我

放在resource目录下
在这里插入图片描述

3，编写代码
public static String getCityInfo(String ip) throws MalformedURLException {
//        URL url = DIMNginx.class.getClassLoader().getResource("ip2region.db");
        URL url = new URL("file:/root/awz/soft/hive/cusjar/ip2region.db");
        File file;
        if (url != null) {
            file = new File(url.getFile());
        } else {
            return null;
        }
        if (!file.exists()) {
            System.out.println("Error: Invalid ip2region.db file, filePath：" + file.getPath());
            return null;
        }
        //查询算法
        int algorithm = DbSearcher.BTREE_ALGORITHM; //B-tree
        //DbSearcher.BINARY_ALGORITHM //Binary
        //DbSearcher.MEMORY_ALGORITYM //Memory
        try {
            DbConfig config = new DbConfig();
            DbSearcher searcher = new DbSearcher(config, file.getPath());
            Method method;
            switch ( algorithm )
            {
                case DbSearcher.BTREE_ALGORITHM:
                    method = searcher.getClass().getMethod("btreeSearch", String.class);
                    break;
                case DbSearcher.BINARY_ALGORITHM:
                    method = searcher.getClass().getMethod("binarySearch", String.class);
                    break;
                case DbSearcher.MEMORY_ALGORITYM:
                    method = searcher.getClass().getMethod("memorySearch", String.class);
                    break;
                default:
                    return null;
            }
            DataBlock dataBlock;
            if (!Util.isIpAddress(ip)) {
                System.out.println("Error: Invalid ip address");
                return null;
            }
            dataBlock  = (DataBlock) method.invoke(searcher, ip);
            return dataBlock.getRegion();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
注意：URL url = new URL(“file:/root/awz/soft/hive/cusjar/ip2region.db”);服务器上路径，本地测试用 DIMNginx.class.getClassLoader().getResource(“ip2region.db”);否则，到服务器上会报找不到静态资源路径ip2region.db的路径，ip2region.db也要上传到对应路径下

完整代码

package cn.dim;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.lionsoul.ip2region.DataBlock;
import org.lionsoul.ip2region.DbConfig;
import org.lionsoul.ip2region.DbSearcher;
import org.lionsoul.ip2region.Util;

import java.io.File;
import java.io.IOException;
import java.lang.reflect.Method;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

/**
 * @version 1.0
 * @Author:杨杰
 * @Date:2022/6/15 15:55
 */
public class DIMNginx extends GenericUDTF {

//    public static void main(String[] args) throws IOException, HiveException {
//        String[] str = new String[]{"209.17.97.122"};
//
        DIMNginx dwNginx = new DIMNginx();
        dwNginx.process(str);
//
//        // province-1.0-SNAPSHOT.jar!
//
//        URL url2 = new URL("D:\\HadoopDevelopment\\nginxLog\\province\\src\\main\\resources\\ip2region.db");
//
//        System.out.println(url2);
        URL url = DIMNginx.class.getClassLoader().getResource("ip2region.db");
        System.out.println(url.toString().replace("classes","d"));

        URL url1 = DIMNginx.class.getClassLoader().getResource(url.toString().replace("classes","d"));
        System.out.println(url1);
//
        String cityInfo = getCityInfo("117.187.32.84");
        System.out.println(cityInfo);
        for (String s : cityInfo.split("\\|")) {
            System.out.println(s);
        }
//    }


    public static String getCityInfo(String ip) throws MalformedURLException {
//        URL url = DIMNginx.class.getClassLoader().getResource("ip2region.db");
        URL url = new URL("file:/root/awz/soft/hive/cusjar/ip2region.db");
        File file;
        if (url != null) {
            file = new File(url.getFile());
        } else {
            return null;
        }
        if (!file.exists()) {
            System.out.println("Error: Invalid ip2region.db file, filePath：" + file.getPath());
            return null;
        }
        //查询算法
        int algorithm = DbSearcher.BTREE_ALGORITHM; //B-tree
        //DbSearcher.BINARY_ALGORITHM //Binary
        //DbSearcher.MEMORY_ALGORITYM //Memory
        try {
            DbConfig config = new DbConfig();
            DbSearcher searcher = new DbSearcher(config, file.getPath());
            Method method;
            switch ( algorithm )
            {
                case DbSearcher.BTREE_ALGORITHM:
                    method = searcher.getClass().getMethod("btreeSearch", String.class);
                    break;
                case DbSearcher.BINARY_ALGORITHM:
                    method = searcher.getClass().getMethod("binarySearch", String.class);
                    break;
                case DbSearcher.MEMORY_ALGORITYM:
                    method = searcher.getClass().getMethod("memorySearch", String.class);
                    break;
                default:
                    return null;
            }
            DataBlock dataBlock;
            if (!Util.isIpAddress(ip)) {
                System.out.println("Error: Invalid ip address");
                return null;
            }
            dataBlock  = (DataBlock) method.invoke(searcher, ip);
            return dataBlock.getRegion();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        List<String> colNames = new ArrayList<>();
        List<ObjectInspector> fieldIOs = new ArrayList<>();

        colNames.add("ip");
        colNames.add("country");
        colNames.add("region");
        colNames.add("province");
        colNames.add("city");
        colNames.add("operator");
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldIOs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return ObjectInspectorFactory.getStandardStructObjectInspector(colNames,fieldIOs);
    }

    @Override
    public void process(Object[] objects) throws HiveException {

        String cityInfo = null;
        try {
            cityInfo = getCityInfo(objects[0].toString());
        } catch (MalformedURLException e) {
            e.printStackTrace();
        }

        String[] result = new String[6];

        result[0] = objects[0].toString();
        result[1] = cityInfo.split("\\|")[0];
        result[2] = cityInfo.split("\\|")[1];
        result[3] = cityInfo.split("\\|")[2];
        result[4] = cityInfo.split("\\|")[3];
        result[5] = cityInfo.split("\\|")[4];

        forward(result);

    }

    @Override
    public void close() throws HiveException {

    }
}

打包上传

hive添加jar包
add jar /root/awz/soft/hive/cusjar/province-1.0-SNAPSHOT.jar;// 添加对应路径
create temporary function dim_province as "cn.dim.DIMNginx"; //创建对应临时函数
查询地址
insert overwrite directory "/user/hive/warehouse/nginx.db/dim_province"
row format delimited fields terminated by ","
select dim_province(ip) from dwd_data;
结果

在这里插入图片描述
OK

炸鸡叔老白
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数仓工具—Hive实战之UDF解析IP地址(2)
12-29 6万+
ip 转化为地址是非常常用的的一种UDF，UDF 读取外部文件，需要注意的是当你add file之后，你需要确定文件的路径，然后将其路径给赋值给UDF 中文件路径的变量
根据url提取网站域名的方法小结
weixin_33831673的博客
10-14 352
前言：最近使用到了他人总结的一个基础类库。查看了下源码，发现String帮助类的一个辅助方法不是很严谨，重构之。 1、原来程序的写法 public static string GetDomainName(string url) { Regex reg = new Regex(@"http(s)?://([\w-]+\.)+[\w-...
centos下nginx实现按国家/地域封禁、按ip频率限流能力、ngx_http_geoip2_module、ngx_http_geoip_module的区分
最新发布
zhangpinghao的专栏
09-25 331
ngx_http_geoip2_module 支持指定字段来进行ip解析，而ngx_http_geoip_module只能用remote_addr解析，这对上层还有网关或者防火墙的无法实现。但从实际使用来看，同一个ip ngx_http_geoip_module 能查出来城市，但是 ngx_http_geoip2_module 查不出来的情况很多。ngx_http_geoip_module 使用 .dat数据库，更老，数据已经不再维护。模块的nginx参数如下。openresty版。
Nginx通过用户IP获取所在国家及地理位置
黑夜开发者的博客
06-01 1832
Nginx是一款高性能、轻量级的Web服务器和反向代理服务器。它最初设计目的是为了解决C10k问题，即如何支持10,000个以上的并发连接。Nginx采用了事件驱动的异步非阻塞模型，可以在消耗较少的系统资源下处理更多的并发连接。由于其高性能和可靠性，Nginx逐渐成为了现代Web架构中不可或缺的一部分，并被广泛地应用于互联网公司、大型网站以及高负载的应用场景中。今天讲解Nginx十分常用的功能之一，通过IP获取用户所在的国家，一般广泛应用在各类需要定位的网站上面，来定位用户首次访问的国家。通过IP解析库。
HIVE自定义UDF函数-IP地址解析
xieedeni的博客
11-30 4539
目录 需求背景 解决方案 Ip解析介绍​​​​​ pom.xml ConstantsGeoIp.java IpUtils.java UDFIp2Region.java ip2region.db 编译和打包 创建UDF 使用 需求背景 项目中埋点信息需要解析用户信息的地理位置信息，如果有经纬度信息，我们可以通过百度地图或者高德地图的API解析，但一般接口都是有次数限制或者收费的。这里我们通过解析IP地址获取用户（访问者）的地理位置。 解决方案 通过解析IP地址获取用户（访问者）的
Linux脚本练习之script083-nginx日志分析之查询某个IP的详细访问情况
二木成林
07-20 878
查询 `192.168.1.22` 的详细访问情况，按访问频率降序排序。
Flume采集Nginx日志到Hive.rar
08-01
Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件，具体使用方式可参见博文：https://blog.csdn.net/l1028386804/article/details/97975539
Flume采集Nginx日志到新版Hive.rar
09-20
在这个场景中，我们利用Flume来从Nginx服务器收集日志，并将这些日志数据导入到新版的Hive数据仓库中。下面将详细阐述这个过程涉及的技术要点。 首先，Nginx是一款高性能的HTTP和反向代理服务器，它的日志记录了...
hive2.0+开启审计日志.pdf
07-21
在Hive 2.0及更高版本中，启用Metastore审计日志是确保数据安全性与合规性的重要步骤。审计日志记录了用户对Hive Metastore的所有操作，包括元数据的创建、修改和查询等，这对于追踪系统活动、故障排查以及满足法规...
基于Hive的搜狗日志分析
12-12
基于Hive的搜狗日志分析 本文档主要介绍了基于Hive的搜狗日志分析的整个过程，从数据预处理、构建数据仓库、数据分析到其他数据操作等方面进行了详细的介绍。 一、 数据预处理 数据预处理是整个日志分析的第一步...
各种情况手机号清洗udf函数（hive impala）
12-06
在大数据处理领域，手机号码的清洗是一项至关重要的任务，尤其在使用Hive和Impala这样的大数据分析工具时。本文将详细讲解如何通过自定义函数（UDF）来处理各种格式的手机号码，确保数据的质量和一致性。我们将涵盖...
一个查询ip归属地的hive udf
云想慕尘的专栏
07-01 1054
背景 工作中会用到查询ip归属地的场景，购买了ip库数据，因官方不提供数据遍历方案，所以无法全量导入到hive中，只能使用udf进行查询。 数据源来自https://www.ipip.net/，数据格式为.ipdb，如：ipv4_china_cn.ipdb。 udf编码 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
一道HIVE UDF笔试题-解析url字符串的主域部分
lixiaotaoplus的专栏
06-04 1002
HIVE UDF案例。编写UDF，获取URL字符串的主域部分
黑猴子的家：Hive 网站日志分析案例
黑猴子的博客
09-29 1368
1、需求 （1）日志的字段描述如下 日志字段 字段描述 remote_addr 客户端的ip地址（如果中间有代理服务器那么这里显示的ip就为代理服务器的ip地址） remote_user 用于记录远程客户端的用户名称（一般为“-”） time_local 用于记录访问时间和时区 request 用于记录请求的URL以及请求方法 status ...
HIVE的URL解析
Signal_Du的博客
07-26 8768
目录 从url返回PROTOCOL 从url返回HOST 从url返回PATH 从url返回QUERY 从url返回QUERY中指定的参数的值 从url返回FRAGMENT标识符 从url返回FILE 从url返回AUTHORITY 从url返回USERINFO Every HTTP URL conforms to the syntax of a generic URI....
python或hive根据ip计算地域分布的算法
算法与数据挖掘
10-08 438
1.使用场景 (1.适用于大数据量的ip地域分布场景。 (2.python程序和ip库见附件。 (3.稍作改动，可用于hive中。 2.使用方法： python findarea.py --dealListFile=test_ip_dealListFile_20130930.txt --resultWriteFile=test_ip_resultWriteFile_20130930....
总结：编写Hive UDF自定义函数（通过IP地址查询所属省份地市和运营商）
amenhub
04-11 2881
文件记录字段包括：起始IP（Start_ip），结束IP（End_ip），运营商（IDC），省份（Province），地市（City） 1. 将输入的点分十进制IP地址转换成长数字类型 IP地址是一个32位的二进制数，将它划分为4个字节，每个字节是8位，因此每个字节所能表示的最大数字是2^8=255(从0开始) public static long ip2long(String ip) { if...
避免hive笛卡尔积
weixin_33705053的博客
05-27 751
2019独角兽企业重金招聘Python工程师标准>>> ...
nginx过滤IP访问
BredChu的博客
06-16 8025
nginx过滤IP访问、nginx禁止某个IP、nginx屏蔽IP、异常攻击nginx防护措施
hive 开启llap日志
05-30
要开启Hive的LLAP日志，可以按照以下步骤进行操作： 1. 进入Hive的配置文件目录，通常路径为：/etc/hive/conf 2. 打开hive-site.xml文件，添加以下参数： ``` <property> <name>hive.llap.daemon.log.level</name> <value>DEBUG</value> </property> ``` 3. 保存并关闭文件 4. 重启Hive服务，使配置生效 这样就可以开启Hive的LLAP日志了。日志文件通常位于/var/log/hive/llap/目录下。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炸鸡叔老白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值