Openresty + GeoIP2实现IP归属国家查询

最新推荐文章于 2024-06-12 16:33:53 发布

Json2011315

最新推荐文章于 2024-06-12 16:33:53 发布

阅读量1.8k

点赞数

分类专栏： openresty lua

本文链接：https://blog.csdn.net/yinjinshui/article/details/118702545

版权

lua 同时被 2 个专栏收录

4 篇文章 1 订阅

订阅专栏

openresty

2 篇文章 0 订阅

订阅专栏

为了实现业务系统针对不同地区IP访问，展示包含不同地区信息的业务交互界面。很多情况下系统需要根据用户访问的IP信息，判断用户可能的访问区域，针对不同的区域提供个性化的服务内容。本方案在CentOS7.x环境下基于高性能的Openresty1.13.6.2来实现。

方案介绍

要通过IP地址确认归属地，通常可以使用一些在线查询服务来实现，比如https://blog.csdn.net/XinTeng2012/article/details/34418117?utm_source=blogxgwz8 介绍的常见提供查询服务。但使用在线服务查询潜在存在性能问题，同时通过lua来访问外部服务增加额外的代码量。通过本地的GeoIP库来实现查询是个比较好的方案，GeoIP提供免费和收费服务(https://www.maxmind.com/en/home)，大多数情况下使用定期更新的GeoIP数据库能满足基本需求。

环境准备

一 OpenResty安装

OpenResty方便地将Nginx和常用的各类lua库打包发布，可以方便地参考 https://openresty.org/en/installation.html 文档从源码编译安装。主要安装步骤说明如下：

tar -xvf openresty-VERSION.tar.gz
cd openresty-VERSION/
./configure -j2 --prefix=/usr/local/openresty
make -j2
sudo make install
 
# better also add the following line to your ~/.bashrc or ~/.bash_profile file.
export PATH=/usr/local/openresty/bin:$PATH

这里的VERSION 是OpenResty具体版本号，目前为 1.13.6.2。编译安装后可以通过如下命令查看版本信息：

/usr/local/openresty/bin/openresty -V
nginx version: openresty/1.13.6.2
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC)?
built with OpenSSL 1.0.2k-fips ?26 Jan 2017
TLS SNI support enabled
configure arguments: --prefix=/usr/local/openresty/nginx --with-cc-opt=-O2 --add-module=../ngx_devel_kit-0.3.0 --add-module=../echo-nginx-module-0.61 --add-module=../xss-nginx-module-0.06 --add-module=../ngx_coolkit-0.2rc3 --add-module=../set-misc-nginx-module-0.32 --add-module=../form-input-nginx-module-0.12 --add-module=../encrypted-session-nginx-module-0.08 --add-module=../srcache-nginx-module-0.31 --add-module=../ngx_lua-0.10.13 --add-module=../ngx_lua_upstream-0.07 --add-module=../headers-more-nginx-module-0.33 --add-module=../array-var-nginx-module-0.05 --add-module=../memc-nginx-module-0.19 --add-module=../redis2-nginx-module-0.15 --add-module=../redis-nginx-module-0.3.7 --add-module=../rds-json-nginx-module-0.15 --add-module=../rds-csv-nginx-module-0.09 --add-module=../ngx_stream_lua-0.0.5 --with-ld-opt=-Wl,-rpath,/usr/local/openresty/luajit/lib --with-stream --with-stream_ssl_module --with-http_ssl_module

openresty包含了自身的包维护工具opm，该工具采用perl实现依赖MD5，需要执行yum install -y perl-Digest-MD5 安装。

yum install  -y perl-Digest-MD5

二：GeoIP2安装

2.1 从https://dev.maxmind.com/geoip/geoip2/geolite2/ 下载MaxMind格式的GeoIP2数据库保存到本地服务器。
比如将数据库文件GeoLite2-City.mmdb保存到/usr/local/openresty目录下。

资料参考地址:
	免费账户注册地址：https://www.maxmind.com/en/geoip2-country-database
	
	GeoLite2 免费地理定位数据【此地址去获取GEOIP数据】:https://dev.maxmind.com/geoip/geolite2-free-geolocation-data
	
	官方 API 客户端:https://dev.maxmind.com/geoip/geolocate-an-ip/databases
	
	lua客户端地址:https://github.com/daurnimator/mmdblua
	
	使用说明（更新 GeoIP 和 GeoLite 数据库）：https://dev.maxmind.com/geoip/updating-databases?lang=en#3-run-geoip-update
	
	GeoIP2 和 GeoLite2 数据库文档：https://dev.maxmind.com/geoip/docs/databases?lang=en
	
	各自使用各自注册用户的下载地址：
	下载地址:https://www.maxmind.com/en/accounts/580484/geoip/downloads

GeoLite2 免费地理定位数据【此地址去获取GEOIP数据】:https://dev.maxmind.com/geoip/geolite2-free-geolocation-data
在这里插入图片描述

在这里插入图片描述

[root@localhost solf]# ls
GeoLite2-Country_20210713         libmaxminddb-1.6.0         openresty-1.13.6.2
GeoLite2-Country_20210713.tar.gz  libmaxminddb-1.6.0.tar.gz  openresty-1.13.6.2.tar.gz
[root@localhost solf]# cd GeoLite2-Country_20210713
[root@localhost GeoLite2-Country_20210713]# ls
COPYRIGHT.txt  GeoLite2-Country.mmdb  LICENSE.txt
[root@localhost GeoLite2-Country_20210713]# mv GeoLite2-Country.mmdb  /usr/local/openresty/
[root@localhost GeoLite2-Country_20210713]# ls /usr/local/openresty/
bin  COPYRIGHT  GeoLite2-Country.mmdb  luajit  lualib  nginx  pod  resty.index  site

2.2 GeoIP2 lua库安装，GeoIP2 lua库位于https://github.com/anjia0532/lua-resty-maxminddb ，可以通过如下命令方便安装：

扩展地址：https://github.com/anjia0532/lua-resty-maxminddb

/usr/local/openresty/bin/opm get anjia0532/lua-resty-maxminddb

2.3 GeoIP2 lua库依赖动态库安装，lua库依赖libmaxminddb实现对mmdb的高效访问。需要编译该库并添加到openresty访问环境。可以从https://github.com/maxmind/libmaxminddb/releases下载相应源码包到本地编译部署。基本编译步骤如下：

[root@localhost solf]# pwd
/usr/local/solf
[root@localhost solf]# wget https://github.com/maxmind/libmaxminddb/releases/download/1.6.0/libmaxminddb-1.6.0.tar.gz
[root@localhost solf]# tar -zxvf libmaxminddb-1.6.0.tar.gz
[root@localhost solf]# cd libmaxminddb-1.6.0
[root@localhost libmaxminddb-1.6.0]# ./configure
[root@localhost libmaxminddb-1.6.0]# make
[root@localhost libmaxminddb-1.6.0]# make check
[root@localhost libmaxminddb-1.6.0]# make install
[root@localhost libmaxminddb-1.6.0]# ldconfig

默认情况下上述操作会将libmaxminddb.so部署到/usr/local/lib目录下，为了让openresty访问，可以拷贝到openresty目录下，或通过如下步骤更新ldconfig。

[root@localhost libmaxminddb-1.6.0]# sudo sh -c "echo /usr/local/lib  >> /etc/ld.so.conf.d/local.conf"
[root@localhost libmaxminddb-1.6.0]# ldconfig
[root@localhost libmaxminddb-1.6.0]# ls /usr/local/lib
libmaxminddb.a  libmaxminddb.la  libmaxminddb.so  libmaxminddb.so.0  libmaxminddb.so.0.0.7  pkgconfig

三：配置openresty nginx环境。

1，配置openresty nginx加载相应的lua库和动态库，需要在http段添加如下指令，其中的;;表示默认库路径：

    lua_package_path  "/usr/local/openresty/lualib/?.lua;;";
    lua_package_cpath  "/usr/local/openresty/lualib/?.so;;";

2，指定lua处理请求的方式。为了简易直观，如下示例的nginx.conf配置指定 /lua开始的url请求通过 /usr/local/openresty/lualib/project/test.lua脚本来处理，这里没有做其他复杂的请求和变量处理工作。现网环境下可能需要考虑更好的模块化配置管理方式，lua_code_cache off;参数只为测试使用，生产环境需设为on；

lua_package_path  "/usr/local/openresty/lualib/?.lua;;";
lua_package_cpath  "/usr/local/openresty/lualib/?.so;;";

include       mime.types;
default_type  application/octet-stream;

server {
    listen       80;
    server_name  localhost;

    location / {
        root   html;
        index  index.html index.htm;
    }
    location /lua {
            default_type "text/html";
            proxy_set_header            X-real-ip $remote_addr;
            proxy_set_header            X-Forwarded-For $proxy_add_x_forwarded_for;
            #return 200 $proxy_add_x_forwarded_for;
            charset utf-8;
             #关闭代码缓存 。修改lua脚本不需要重启
            lua_code_cache off;
            content_by_lua_file  /usr/local/openresty/lualib/project/test.lua;
    }
}

四：编写访问mmdb的lua脚本

我们想通过传入IP地址的方式来查看归属地城市，比如，http://192.168.5.101/lua?ip=111.47.224.182&node=city。可以如下方式编写按照上面设置的conf/lua/test.lua。

[root@localhost project]# pwd
/usr/local/openresty/lualib/project
[root@localhost project]# vim test.lua

local cjson=require 'cjson'
local geo=require 'resty.maxminddb'
local arg_ip=ngx.var.arg_ip
--local arg_node=ngx.var.arg_node
--ngx.say("IP:",arg_ip,", node:",arg_node,"<br>")


--没有传递ip
if not arg_ip then
        arg_ip=ngx.var.remote_addr
end

if not geo.initted() then
        geo.init("/usr/local/openresty/GeoLite2-Country.mmdb")
end

--当前服务部署的ip
--ngx.say("当前服务部署ip:",ngx.var.remote_addr)

local res,err=geo.lookup(arg_ip or ngx.var.remote_addr)

if not res then
        ngx.say("获取客户端ip失败,或当前请求的ip不是公网ip")
        ngx.log(ngx.ERR,' failed to lookup by ip , reason :',err)
else
        for k,v in pairs(res) do
                --只获取国家
                if(k == "country") then
                        --获取国家编码
                        for key,item in pairs(v) do
                                if (key=="iso_code") then
                                        --ngx.say(item)
                                end
                        end
                end
        end
        --ngx.say("Result:",cjson.encode(res))
        ngx.say(cjson.encode(res))

        if arg_node then
                ngx.say("node name:",ngx.var.arg_node, " , value:",cjson.encode(res[ngx.var.arg_node] or {}))

        end

end

ngx.exit(200)

五：访问验证

浏览器访问：http://192.168.5.101/lua?ip=2.56.135.255

{
    "country": {
        "geoname_id": 2921044,
        "names": {
            "en": "Germany",
            "ru": "Германия",
            "fr": "Allemagne",
            "pt-BR": "Alemanha",
            "zh-CN": "德国",
            "es": "Alemania",
            "de": "Deutschland",
            "ja": "ドイツ連邦共和国"
        },
        "iso_code": "DE",
        "is_in_european_union": true
    },
    "continent": {
        "geoname_id": 6255148,
        "names": {
            "en": "Europe",
            "ru": "Европа",
            "fr": "Europe",
            "pt-BR": "Europa",
            "zh-CN": "欧洲",
            "es": "Europa",
            "de": "Europa",
            "ja": "ヨーロッパ"
        },
        "code": "EU"
    },
    "registered_country": {
        "geoname_id": 2921044,
        "names": {
            "en": "Germany",
            "ru": "Германия",
            "fr": "Allemagne",
            "pt-BR": "Alemanha",
            "zh-CN": "德国",
            "es": "Alemania",
            "de": "Deutschland",
            "ja": "ドイツ連邦共和国"
        },
        "iso_code": "DE",
        "is_in_european_union": true
    }
}