PHP-二分查找秒解析IP地理位置

置顶 已于 2022-09-28 17:53:37 修改
阅读量1k 收藏
点赞数
分类专栏： php 文章标签： php 算法
于 2019-08-28 15:14:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kemosisongge/article/details/100119863
版权

通过二分查找的方法，我们可以在1秒内从19万条IP信息中找到我们所需要的IP，这大大地提高了查找速度。
资料准备：CHINA_IP_INFO.txt (这里面包含了中国所有的IP网段和实际地理位置的关系，可以从yoooknight.github下载）
参考文章：
PHP实现文本快速查找 - 二分查找法

设计思路
第一步、需要将IP转换成一个整数类型
第二步、根据IP文件(CHINA_IP_INFO.txt)生成一个索引文件

索引文件分成3部分：
index-struct.png

  1. head:存储IP索引的起始偏移量和结束偏移量：起始偏移量和结束偏移量各占4byte，共8byte
  2. data:存储IP的详细信息，长度根据CHINA_IP_INFO的具体数据大小决定，结束时用\x00提示
  3. index:索引信息，起始IP的值和详细信息的位置偏移量，各占4个字节，共8个字节

第三步、使用二分查找法对比查找IP和IP文件中的IP范围
根据第二步中存储的索引文件，查询顺序应该是：head->index->data

  1. 就是说在查询的时候先会查询head中的内容，获取到起始和结束索引的位置偏移量
  2. 然后根据这个偏移量读取到IP的索引，再通过查询ip和起始IP进行对比
  3. 如果成功匹配就可以根据index中的位置偏移量读取具体的ip信息。

二分查找
又被成为折半查找,它充分利用了元素间的次序关系，采用分治策略，可在最坏的情况下用O(log n)完成搜索任务。它的基本思想是，将n个元素分成个数大致相同的两半，取a[n/2]与欲查找的x作比较，如果x=a[n/2]则找到x，算法终止。

在这里我们有一点不同，就是我们查找的是一个范围，而不是固定的值，也就是说，我们这里的判断条件应该是先比较是否大于起始IP，再比较是否小于结束IP
流程图如下：
Binary-Search.png

完整代码如下：

<?php
/**
 * Created by PhpStorm.
 * User: WangSong
 * Date: 2017/11/27 0027
 * Time: 15:02
 */

error_reporting(0);

class SearchIP
{
    private $forceReForm        = False; /* 是否强制重新生成索引文件 */
    private $filename           = "/var/caploudrc/rmsc/CHINA_IP_INFO.txt"; /* 保存IP地址的文件 */
    private $head               = array(); /* 0起始IP的文件开始位置，1起始IP的文件结束位置 */
    private $index              = array(); /* ... */
    private $data               = array(); /* 数据信息的位置 */
    private $start_data_offset  = 8; /* 起始偏移量 */
    private $index_len          = 0; /* 索引长度 */
    CONST  READ_64bit_OFFSET    = 9;
    CONST  READ_32bit_OFFSET    = 5;
    CONST  EVERY_INDEX_OFFSET   = 8;

    /**
     * @description 初始化文件
     *
     * @param $filename
     * @param $forceReForm
     */
    public function __construct($filename = "", $forceReForm = False)
    {
        self::SP_debug("construct", "1.     开始初始化脚本...");
        # 变量赋值
        $this->filename = empty($filename) ? $this->filename : $filename;
        $this->forceReForm = $forceReForm;
        $this->formatFile = dirname(__FILE__) ."/" . md5($this->filename);

        # 若强制重新生成索引标志为真或者不存在索引文件，则重新生成
        if ($this->forceReForm || !file_exists($this->formatFile)) {
            $this->formatFile();
        }
    }

    /**
     * @description  格式化文件
     *
     */
    private function formatFile()
    {
        self::SP_debug("formatFile", "1.1    正在重新生成索引文件...");
        //读源文件，写入到新的索引文件
        $readfd = fopen($this->filename, 'rb');
        $writefd = fopen($this->formatFile.'_tmp', 'wb+');
        if ($readfd === false || $writefd === false) {
            return false;
        }

        while (!feof($readfd)) {
            $line = fgets($readfd);
            if (empty($line))  continue;
            $line_items = explode("\t", $line);

            # 将起始IP转换为数字
            if (preg_match('/\d+\.\d+\.\d+\.\d+/', $line_items[0])){
                $start_ip = $this->ip2int($line_items[0]);
            } else {
                $start_ip = intval($line_items[0]);
            }

            # 将结束IP转换为数字
            if (preg_match('/\d+\.\d+\.\d+\.\d+/', $line_items[1])){
                $line_items[1] = pack("L", $this->ip2int($line_items[1]));
            } else {
                $line_items[1] = pack("L", intval($line_items[1]));
            }

            # 删除起始IP
            unset($line_items[0]);

            # 1. 构造索引内容ip+该ip对应数据所存储的偏移量
            # 2. 头索引：索引内容 的偏移量，所以每次起始的数据偏移量要增加数据的长度
            $tmp_index_offset = pack("LL",$start_ip,$this->start_data_offset); # 8byte

            $this->index_len = $this->index_len + strlen($tmp_index_offset);
            array_push($this->index, $tmp_index_offset);

            $tmp_data = implode("\t", $line_items) . '\x00';
            array_push($this->data, $tmp_data);
            $this->start_data_offset = $this->start_data_offset + strlen($tmp_data);
        }

        self::SP_debug("formatFile", "1.2    索引头部开始生成...");
        array_push($this->head, pack("L", $this->start_data_offset));
        array_push($this->head, pack("L", $this->index_len + $this->start_data_offset - 8));

        # 将数据写到临时文件中
        self::SP_debug("formatFile", "1.3    开始写入索引头...");
        $this->write_array($writefd, $this->head);
        self::SP_debug("formatFile", "1.4    开始写入数据...");
        $this->write_array($writefd, $this->data);
        self::SP_debug("formatFile", "1.5    开始写入数据索引...");
        $this->write_array($writefd, $this->index);

        echo "\n reformat ok\n";
        fclose($readfd);
        fclose($writefd);
        rename($this->formatFile.'_tmp', $this->formatFile);

        self::SP_debug("formatFile", "1.6    索引文件已经生成...");
        return True;
    }

    /**
     * @description 查找文件
     *
     * @param string $ip
     *
     * @return bool
     */
    public function search($ip = "")
    {
        self::SP_debug("search", "2.     开始查找IP信息...");
        $output = array("valid"=>False, "info"=>array(), "error_msg"=>"");
        $fd = fopen($this->formatFile, "rb");
        $search_int_ip = $this->ip2int($ip);

        self::SP_debug("search", "2.1    开始读取索引文件的头信息...");
        # 1. 读取head里面的偏移量信息
        $head = unpack("Lleft/Lright", fgets($fd, 9));
        $left = $head['left'];
        $right = $head['right'];

        while ($left <= $right) {
            # 计算索引个数
            $index_count = ($right-$left+self::EVERY_INDEX_OFFSET)/self::EVERY_INDEX_OFFSET;
            $index_middle = intval($index_count/2) < 1 ? 1 : intval($index_count/2);
            $offset_middle = $left + ($index_middle - 1) * self::EVERY_INDEX_OFFSET;

            self::SP_debug("search", "2.1.1    当前还剩下{$index_count}个节点IP信息...");
            self::SP_debug("search", "2.1.2    当前将要二分查询第{$index_middle}个节点IP信息...");


            fseek($fd, $offset_middle, SEEK_SET);
            # 获取起始IP和详细信息的偏移量
            # 在这里读取的时候要用fread,fget读取会出错
            $info = unpack("Ltmp_ip/Ltmp_offset", fread($fd, self::READ_64bit_OFFSET));
            $start_ip = $info['tmp_ip'];
            self::SP_debug("search", "2.1.3    读取该节点IP信息的起始IP：{$start_ip}-" . $this->int2ip($start_ip));

            fseek($fd, $info['tmp_offset'], SEEK_SET);
            # 读取结束IP的值
            fseek($fd, $info['tmp_offset'], SEEK_SET);
            $end_ip = unpack("Lip", fgets($fd, self::READ_32bit_OFFSET))['ip'];
            self::SP_debug("search", "2.1.4    读取该节点IP信息的结束IP：{$end_ip}-" . $this->int2ip($end_ip));

            $info_detail= fgets($fd);
            if ($search_int_ip < $start_ip) {
                self::SP_debug("search", "2.1.5    查询IP在节点IP的左边\n");
                $right = $offset_middle - self::EVERY_INDEX_OFFSET;
            } elseif ($search_int_ip > $end_ip){
                self::SP_debug("search", "2.1.5    查询IP在节点IP的右边\n");
                $left = $offset_middle + self::EVERY_INDEX_OFFSET;
            } else {
                self::SP_debug("search", "2.1.5    查询IP存在于该节点IP中\n");
                $output['valid'] = True;
                $output['info'] = explode("\t", $info_detail);
                $output['info'][count($output['info']) - 1] =
                    trim($output['info'][count($output['info']) - 1], PHP_EOL);
                unset($output['info'][0]);
                goto final_out;
            }
        }

        fclose($fd);
        $output['valid'] = False;
        $output['info'] = "NO IP FOUND";
        self::SP_debug("search", "2.2.5    没有查询到该IP有关信息\n");

        final_out:
        return $output;
    }

    /**
     * @description 将数组数据写入到二进制文本中
     *
     * @param Resource $fh      文本句柄
     * @param array $arr_data   需要写入的数组
     */
    private function write_array($fh, $arr_data)
    {
        foreach($arr_data as $data) {
            fwrite($fh, $data);
        }
    }

    /**
     * @description 将IP地址转换为整型
     *
     * @param string $ip
     *
     * @return int
     */
    private function ip2int($ip)
    {
        $ipArray = explode(".", $ip);
        $int_ip = intval($ipArray[0]) * 0x1000000 +
            intval($ipArray[1]) * 0x10000 +
            intval($ipArray[2]) * 0x100 +
            intval($ipArray[3]);

        return intval($int_ip);
    }

    /**
     * @description 将int类型的ip转换为4位的ip地址
     *
     * @param $int_ip
     *
     * @return string $ip
     */
    private function int2ip($int_ip)
    {
        $ip_4 = $int_ip >> 24;
        $ip_3 = ($int_ip - ($ip_4 << 24)) >> 16;
        $ip_2 = ($int_ip - ($ip_4 << 24) - ($ip_3 << 16)) >> 8;
        $ip_1 = ($int_ip - ($ip_4 << 24) - ($ip_3 << 16) - ($ip_2 << 8)) >> 0;

        $ip = $ip_4 . "." . $ip_3 . "." . $ip_2 . ".". $ip_1;
        return $ip;
    }

    /**
     * @description 日志记录
     */
    static private function SP_debug($func_name, $msg)
    {
        if ($debug_flag = True) {
            $info = "[ " . date("Y-m-d H:i:s") . " ] [ {$func_name} ]" . $msg . "\n";
            file_put_contents("/tmp/www", $info, FILE_APPEND);
        }
    }
}


//==============================TEST================================
# 1.0.8.0	1.0.15.255
//$a = new SearchIP();
//$m = $a->search("1.1.9.22"); # 康王南路	78号
//$m = $a->search("1.1.5.22"); # 八一七中路	649号
//$m = $a->search("1.48.165.22"); # 安顺市	西秀区	黉学坝路
//$m = $a->search("1.0.9.22");   # 广东省	广州市	荔湾区	康王南路	78号
//$m = $a->search("192.168.1.172");
//$m = $a->ip2int("172.16.5.226");
//var_dump($m);
//var_dump($a->int2ip($m));

ps:
该文章已被同步到简书：https://www.jianshu.com/p/a8f75501d2e3

yooKnight
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
php实现的二分查找算法示例
10-19
主要介绍了php实现的二分查找算法,结合具体实例形式分析了php二分查找算法的实现与使用技巧,涉及php数组判断、遍历、计算等相关操作,需要的朋友可以参考下
PHP实现文本快速查找 - 二分查找法
最新发布
04-10
起因 先说说事情的起因，最近在分析数据时经常遇到一种场景，代码需要频繁的读某一张数据库的表，比如根据地区ID获取地区名称、根据网站分类ID获取分类名称、根据关键词ID获取关键词等。虽然以上需求都可以在原始建表时，通过冗余数据来解决。但仍有部分业务存的只是关联表的ID，数据分析时需要频繁的查表。 所读的表存在共同的特点 数据几乎不会变更 数据量适中，从一万到100多万，如果全加载到内存也不太合适。 纠结的地方 在做数据分析时，需要十分频繁的读这些表，每秒有可能需要读上万次。其实内部的数据库集群完全可以胜任，但会对线上业务稍有影响。（你懂得，小公司不可能为离线分析做一套完整的数据存储服务。大部分数据分析还要借助线上的数据集群） 优化方案的思考 有没有一种方式可以不增加线上的压力，同时提供更高效的查询方式？想过redis，但最终选择用文本存储。因为数据分析是一个独立的需求，不希望与现有的redis集群或者其它存储服务有交集。还有一个原因是每次分析的中间结果，对下一次分析并没有很大的实质作用，并不需要把结果持久存储，而且占的内存也会较多。最终使用文本存储，然后用二分来查找。特点，
ThinkPHP5根据获取的ip获取地理位置信息
qq_29203949的博客
03-14 528
Thinkphp根据ip获取地理位置信息
PHP中实现获取IP和地理位置类分享
10-24
主要介绍了PHP中实现获取IP和地理位置类分享,本文地理定位使用的是SINA的通用接口,需要的朋友可以参考下
使用PHP实现二分查找算法代码分享
01-20
第一种方法: 【二分查找要求】：1.必须采用顺序存储结构 2.必须按关键字大小有序排列。 　　 【优缺点】折半查找法的优点是比较次数少，查找速度快，平均性能好;其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。 　　 【算法思想】首先，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。 复制代码 代码如下: <?php //作者：遥远的期待 //QQ:15624575 //主页：http://www
PHP实现的二分查找算法实例分析
12-20
本文实例讲述了PHP实现的二分查找算法。分享给大家供大家参考，具体如下： 二分查找法需要数组是一个有序的数组 假设我们的数组是一个递增的数组，首先我们需要找到数组的中间位置. 一。要知道中间位置就需要知道起始位置和结束位置，然后取出中间位置的值来和我们的值做对比。 二。如果中间值大于我们的给定值，说明我们的值在中间位置之前，此时需要再次二分，因为在中间之前，所以我们需要变的值是结束位置的值，此时结束位置的值应该是我们此时的中间位置。 三。反之，如果中间值小于我们给定的值，那么说明给定值在中间位置之后，此时需要再次将后一部分的值进行二分，因为在中间值之后，所以我们需要改变的值是开始位置的值，此时
PHP获取ip及归属地信息
weixin_40609800的博客
12-22 2049
用获取的IP地址通过网络接口获取ip归属地信息。
php获取客户端ip地址及ip所在国家、省份、城市、县区
TANKING
09-08 2186
获取客户端ip地址，然后使用这个ip地址获取所在的国家、省份、城市，可以在网站中实现IP属地，发布地等功能。 本文的获取IP地址信息均采自
PHP获取IP归属地
Celloda的博客
01-30 811
【代码】PHP获取IP归属地。
Thinkphp5根据IP地址获取定位地理位置，精准到城市
美奇软件开发工作室
05-13 1698
根据IP地址获取用户所在的城市地理位置，网上有很多免费的API接口可以实现，但是接口响应比较慢，接口也受网速等因素影响，有时会很卡很卡，直接给用户造成非常不好的网站流畅度体验。因此，推荐大家直接使用离线IP库进行查询，查询速度快，而且也很准确。1、将cznet.zip上传到Thinkphp的扩展目录extend并解压；
PHP 获取 IP 地址所在的地理位置信息/城市
郎涯技术
05-08 5591
类似的博客很多，五花八门，来个自己封装的函数，只需调用淘宝网 API 接口，即可获取公网或局域网所在的地理位置信息。 直接上代码，很简单。 /** * 根据 Ip 获取地址位置 */ function getIpInfo($internetIp = '') { try { //内网IP // A类10.0.0.0～10.255.255.25...
PHP 小方法之 仿百度蜘蛛采集
weixin_30591551的博客
12-20 222
if(!function_exists('_GetContent')){ function _GetContent( $url ){ $ch = curl_init(); $ip = '220.181.108.91'; // 百度蜘蛛 $timeout = 15; curl_setopt($ch,CURLOP...
PHP 根据IP获取地理位置
weixin_33995481的博客
05-15 180
1 /** 2 * 根据用户IP获取用户地理位置 3 * $ip 用户ip 4 */ 5 function get_position($ip){ 6 if(empty($ip)){ 7 return '缺少用户ip'; 8 } 9 $url = 'http://ip.taobao.co...
ThinkPHP中实现IP地址定位
鑫和皓的博客
08-17 1514
IP地址定位的基本原理是根据IP地址的分配和管理的规则，通过查询IP地址数据库，找出IP地址对应的地理位置。在本文中，我们介绍了如何在ThinkPHP中实现IP地址定位，包括如何获取IP地址，如何使用IP数据库或者在线服务进行定位，以及如何将这些代码集成到ThinkPHP项目中。首先，我们可以在我们的Controller中添加一个方法，来获取用户的位置信息。在这个例子中，我们将IP地址定位的代码封装到了getLocation方法中，这样我们可以在其他方法中重复使用这段代码。IP地址定位的结果可能并不准确。
php根据ip地址获取地理位置
小波专栏
12-03 1035
目前我测试过的有三种方法可以根据ip地址获取地理位置，第一种是通过新浪IP查询接口获取，第二种是通过腾讯IP查询接口获取，第三种是通过ip138查询。 一、新浪IP查询接口地址：http://int.dpool.sina.com.cn/iplookup/iplookup.php 后面带有两个参数：ip=你要查询的ip地址，format=返回的查询结果格式，现在使用json function
PHP根据IP获取城市区域信息
twins3520的博客
07-29 1264
这个示例代码使用了 GeoIP2 的 PHP SDK，它提供了一个方便的接口来查询 IP 地址的地理位置信息。你可以通过访问 MaxMind 的官方网站（https://dev.maxmind.com/geoip/geoip2/geolite2/）获取更多关于 GeoIP2 和其它相关工具的信息。首先，你需要从 GeoIP 的官方网站（https://www.maxmind.com/）上下载并获取最新的 GeoIP 数据库文件。其中一个常用的IP地址库是 GeoIP，它提供了多种语言的接口，包括 PHP。
php获取ip归属地
记录开发过程中收获哪些技能、每个项目的心得、遇到的坑。
01-18 747
php获取ip归属地
PHP获取IP地理位置API接口源码
winkexin的博客
06-15 550
利用PHP的curl函数获取IP地理位置API接口源码示例，调用的站长工具数据。
PHP爬虫读取IP，选个适合自己的方法
oGuJing123的博客
07-07 931
在网络爬虫的开发过程中，获取IP地址是一个常见需求。PHP作为一种流行的编程语言，有多种方法可以实现爬虫读取IP的功能。本文将对比评测几种常用的PHP爬虫读取IP的方法，帮助读者选择适合自己需求的方法。1.使用cURL库获取IPcURL是一个强大的用于与服务器进行数据交互的库。
php获取ip地理位置
07-15
你可以使用第三方的IP地理位置查询服务来获取IP的地理位置信息。一个常用的服务是ip-api.com，它提供了一个简单的API接口供开发者使用。你可以使用PHP的curl库发送HTTP请求到该API，并解析返回的JSON数据获取IP地址的地理位置信息。 以下是一个简单的示例代码： ```php function getIpAddressInfo($ip) { $url = "http://ip-api.com/json/{$ip}"; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); $response = curl_exec($curl); curl_close($curl); $data = json_decode($response, true); return $data; } // 使用示例 $ip = $_SERVER['REMOTE_ADDR']; $ipInfo = getIpAddressInfo($ip); echo "IP地址：{$ipInfo['query']}\n"; echo "国家：{$ipInfo['country']}\n"; echo "省份：{$ipInfo['regionName']}\n"; echo "城市：{$ipInfo['city']}\n"; echo "运营商：{$ipInfo['isp']}\n"; ``` 这段代码首先获取访问者的IP地址（`$_SERVER['REMOTE_ADDR']`），然后调用 `getIpAddressInfo` 函数获取IP地址的地理位置信息。最后，通过打印相关字段的值，你可以获得IP地址对应的国家、省份、城市和运营商等信息。 请注意，这只是一个简单的示例代码，你可以根据实际需求进行修改和扩展。另外，ip-api.com提供了免费的服务，但有一定的限制，如果需要更高级的功能和更大的查询量，你可能需要考虑付费使用其他IP地理位置查询服务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yooKnight

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值