IP纯真库查询使用优化

话不多说,直接上代码(初始代码来源网上,如果有版权问题请联系删除)
原有代码每次使用都会加载一次qqwry.dat文件(压测时把连接跑满,没有即使释放资源,造成系统不可用),改过之后直接在服务启动时加载一次,直接使用即可

public class IPAddressUtils {

	public IPAddressUtils() {
	   this.init();
	}

    public static File file;


    private static final Logger LOGGER = LoggerFactory.getLogger("error");
    /**
     * 纯真IP数据库名
     */
    private String IP_FILE = "qqwry.dat";
    /**
     * 纯真IP数据库保存的文件夹
     */
    String url = this.getClass().getResource("/qqwry.dat").getPath();
    private String INSTALL_DIR = url;

    /**
     * 常量,比如记录长度等等
     */
    private static final int IP_RECORD_LENGTH = 7;
    /**
     * 常量,读取模式1
     */
    private static final byte REDIRECT_MODE_1 = 0x01;
    /**
     * 常量,读取模式2
     */
    private static final byte REDIRECT_MODE_2 = 0x02;

    /**
     * 缓存,查询IP时首先查询缓存,以减少不必要的重复查找
     */
    private Map<String, IPLocation> ipCache;
    /**
     * 随机文件访问类
     */
    private static RandomAccessFile ipFile;

    static {
        try {
            file = new File("/qqwry.dat");
            ipFile = new RandomAccessFile(file, "r");
        } catch (FileNotFoundException e) {
            e.printStackTrace();
            LogUtil.error(e + "静态资源加载ipFile失败");
        }
    }

    /**
     * 内存映射文件
     */
    private MappedByteBuffer mbb;
    /**
     * 起始地区的开始和结束的绝对偏移
     */
    private long ipBegin, ipEnd;

    /**
     * 为提高效率而采用的临时变量
     */
    private IPLocation loc;
    /**
     * 为提高效率而采用的临时变量
     */
    private byte[] buf;
    /**
     * 为提高效率而采用的临时变量
     */
    private byte[] b4;
    /**
     * 为提高效率而采用的临时变量
     */
    private byte[] b3;
    /**
     * IP地址库文件错误
     */
    private static final String BAD_IP_FILE = "IP地址库文件错误";
    /**
     * 未知国家
     */
    private static final String UNKNOWN_COUNTRY = "未知国家";
    /**
     * 未知地区
     */
    private static final String UNKNOWN_AREA = "未知地区";


    public void inputstreamtofile(InputStream ins, File file) throws IOException {
        OutputStream os = new FileOutputStream(file);
        int bytesRead = 0;
        byte[] buffer = new byte[8192];
        while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
            os.write(buffer, 0, bytesRead);
        }
        os.close();
        ins.close();
    }

    public void init() {
        try {
            // 缓存一定要用ConcurrentHashMap, 避免多线程下获取为空
            ipCache = new ConcurrentHashMap<>();
            loc = new IPLocation();
            buf = new byte[100];
            b4 = new byte[4];
            b3 = new byte[3];
            try {
                if (!file.exists()) {
                    file = new File(this.getClass().getResource("/qqwry.dat").getPath());
                    if (!file.exists()) {
                        file = new File("/qqwry.dat");
                        if (!file.exists()) {
                            InputStream is = this.getClass().getResourceAsStream("/qqwry.dat");
                            inputstreamtofile(is, file);
                        }
                    }
                }
                if (ipFile == null) {
                    ipFile = new RandomAccessFile(file,
                            "r");
                }
            } catch (FileNotFoundException e) {
                // 如果找不到这个文件,再尝试再当前目录下搜索,这次全部改用小写文件名
                //     因为有些系统可能区分大小写导致找不到ip地址信息文件
                LogUtil.error(e, "未找到文件");
                ipFile = null;
               /* String filename = new File(IP_FILE).getName().toLowerCase();
                File[] files = new File(INSTALL_DIR).listFiles();
                for (int i = 0; i < files.length; i++) {
                    if (files[i].isFile()) {
                        if (files[i].getName().toLowerCase().equals(filename)) {
                            try {
                                ipFile = new RandomAccessFile(files[i], "r");
                            } catch (FileNotFoundException e1) {
                                LOGGER.error("IP地址信息文件没有找到,IP显示功能将无法使用:{}" + e1.getMessage(), e1);
                                ipFile = null;
                            }
                            break;
                        }
                    }
                }*/
            }
            // 如果打开文件成功,读取文件头信息
            if (ipFile != null) {
                try {
                    ipBegin = readLong4(0);
                    ipEnd = readLong4(4);
                    if (ipBegin == -1 || ipEnd == -1) {
                        ipFile.close();
                        ipFile = null;
                    }
                } catch (IOException e) {
                    LogUtil.error(e, "IP地址信息文件格式有错误,IP显示功能将无法使用" + e.getMessage());
                    ipFile = null;
                }
            }

        } catch (Exception e) {
            LogUtil.error(e, "ip初始化异常原因");
        }
    }

    /**
     * 查询IP地址位置 - synchronized的作用是避免多线程时获取区域信息为空
     *
     * @param ip
     * @return
     */
    public synchronized IPLocation getIPLocation(final String ip) {
        IPLocation location = new IPLocation();
        location.setArea(this.getArea(ip));
        location.setCountry(this.getCountry(ip));
        return location;

    }

    /**
     * 从内存映射文件的offset位置开始的3个字节读取一个int
     *
     * @param offset
     * @return
     */
    private int readInt3(int offset) {
        mbb.position(offset);
        return mbb.getInt() & 0x00FFFFFF;
    }

    /**
     * 从内存映射文件的当前位置开始的3个字节读取一个int
     *
     * @return
     */
    private int readInt3() {
        return mbb.getInt() & 0x00FFFFFF;
    }

    /**
     * 根据IP得到国家名
     *
     * @param ip ip的字节数组形式
     * @return 国家名字符串
     */
    public String getCountry(byte[] ip) {
        // 检查ip地址文件是否正常
        if (ipFile == null)
            return BAD_IP_FILE;
        // 保存ip,转换ip字节数组为字符串形式
        String ipStr = Util.getIpStringFromBytes(ip);
        // 先检查cache中是否已经包含有这个ip的结果,没有再搜索文件
        if (ipCache.containsKey(ipStr)) {
            IPLocation ipLoc = ipCache.get(ipStr);
            return ipLoc.getCountry();
        } else {
            IPLocation ipLoc = getIPLocation(ip);
            ipCache.put(ipStr, ipLoc.getCopy());
            return ipLoc.getCountry();
        }
    }

    /**
     * 根据IP得到国家名
     *
     * @param ip IP的字符串形式
     * @return 国家名字符串
     */
    public String getCountry(String ip) {
        return getCountry(Util.getIpByteArrayFromString(ip));
    }

    /**
     * 根据IP得到地区名
     *
     * @param ip ip的字节数组形式
     * @return 地区名字符串
     */
    public String getArea(final byte[] ip) {
        // 检查ip地址文件是否正常
        if (ipFile == null)
            return BAD_IP_FILE;
        // 保存ip,转换ip字节数组为字符串形式
        String ipStr = Util.getIpStringFromBytes(ip);
        // 先检查cache中是否已经包含有这个ip的结果,没有再搜索文件
        if (ipCache.containsKey(ipStr)) {
            IPLocation ipLoc = ipCache.get(ipStr);
            return ipLoc.getArea();
        } else {
            IPLocation ipLoc = getIPLocation(ip);
            ipCache.put(ipStr, ipLoc.getCopy());
            return ipLoc.getArea();
        }
    }

    /**
     * 根据IP得到地区名
     *
     * @param ip IP的字符串形式
     * @return 地区名字符串
     */
    public String getArea(final String ip) {
        return getArea(Util.getIpByteArrayFromString(ip));
    }

    /**
     * 根据ip搜索ip信息文件,得到IPLocation结构,所搜索的ip参数从类成员ip中得到
     *
     * @param ip 要查询的IP
     * @return IPLocation结构
     */
    private IPLocation getIPLocation(final byte[] ip) {
        IPLocation info = null;
        long offset = locateIP(ip);
        if (offset != -1)
            info = getIPLocation(offset);
        if (info == null) {
            info = new IPLocation();
            info.setCountry(UNKNOWN_COUNTRY);
            info.setArea(UNKNOWN_AREA);
        }
        return info;
    }

    /**
     * 从offset位置读取4个字节为一个long,因为java为big-endian格式,所以没办法
     * 用了这么一个函数来做转换
     *
     * @param offset
     * @return 读取的long值,返回-1表示读取文件失败
     */
    private long readLong4(long offset) {
        long ret = 0;
        try {
            ipFile.seek(offset);
            ret |= (ipFile.readByte() & 0xFF);
            ret |= ((ipFile.readByte() << 8) & 0xFF00);
            ret |= ((ipFile.readByte() << 16) & 0xFF0000);
            ret |= ((ipFile.readByte() << 24) & 0xFF000000);
            return ret;
        } catch (IOException e) {
            return -1;
        }
    }

    /**
     * 从offset位置读取3个字节为一个long,因为java为big-endian格式,所以没办法
     * 用了这么一个函数来做转换
     *
     * @param offset 整数的起始偏移
     * @return 读取的long值,返回-1表示读取文件失败
     */
    private long readLong3(long offset) {
        long ret = 0;
        try {
            ipFile.seek(offset);
            ipFile.readFully(b3);
            ret |= (b3[0] & 0xFF);
            ret |= ((b3[1] << 8) & 0xFF00);
            ret |= ((b3[2] << 16) & 0xFF0000);
            return ret;
        } catch (IOException e) {
            return -1;
        }
    }

    /**
     * 从当前位置读取3个字节转换成long
     *
     * @return 读取的long值,返回-1表示读取文件失败
     */
    private long readLong3() {
        long ret = 0;
        try {
            ipFile.readFully(b3);
            ret |= (b3[0] & 0xFF);
            ret |= ((b3[1] << 8) & 0xFF00);
            ret |= ((b3[2] << 16) & 0xFF0000);
            return ret;
        } catch (IOException e) {
            return -1;
        }
    }

    /**
     * 从offset位置读取四个字节的ip地址放入ip数组中,读取后的ip为big-endian格式,但是
     * 文件中是little-endian形式,将会进行转换
     *
     * @param offset
     * @param ip
     */
    private void readIP(long offset, byte[] ip) {
        try {
            ipFile.seek(offset);
            ipFile.readFully(ip);
            byte temp = ip[0];
            ip[0] = ip[3];
            ip[3] = temp;
            temp = ip[1];
            ip[1] = ip[2];
            ip[2] = temp;
        } catch (IOException e) {
            LOGGER.error(e.getMessage(), e);
        }
    }

    /**
     * 从offset位置读取四个字节的ip地址放入ip数组中,读取后的ip为big-endian格式,但是
     * 文件中是little-endian形式,将会进行转换
     *
     * @param offset
     * @param ip
     */
    private void readIP(int offset, byte[] ip) {
        mbb.position(offset);
        mbb.get(ip);
        byte temp = ip[0];
        ip[0] = ip[3];
        ip[3] = temp;
        temp = ip[1];
        ip[1] = ip[2];
        ip[2] = temp;
    }

    /**
     * 把类成员ip和beginIp比较,注意这个beginIp是big-endian的
     *
     * @param ip      要查询的IP
     * @param beginIp 和被查询IP相比较的IP
     * @return 相等返回0,ip大于beginIp则返回1,小于返回-1。
     */
    private int compareIP(byte[] ip, byte[] beginIp) {
        for (int i = 0; i < 4; i++) {
            int r = compareByte(ip[i], beginIp[i]);
            if (r != 0)
                return r;
        }
        return 0;
    }

    /**
     * 把两个byte当作无符号数进行比较
     *
     * @param b1
     * @param b2
     * @return 若b1大于b2则返回1,相等返回0,小于返回-1
     */
    private int compareByte(byte b1, byte b2) {
        if ((b1 & 0xFF) > (b2 & 0xFF)) // 比较是否大于
            return 1;
        else if ((b1 ^ b2) == 0)// 判断是否相等
            return 0;
        else
            return -1;
    }

    /**
     * 这个方法将根据ip的内容,定位到包含这个ip国家地区的记录处,返回一个绝对偏移
     * 方法使用二分法查找。
     *
     * @param ip 要查询的IP
     * @return 如果找到了,返回结束IP的偏移,如果没有找到,返回-1
     */
    private long locateIP(byte[] ip) {
        long m = 0;
        int r;
        // 比较第一个ip项
        readIP(ipBegin, b4);
        r = compareIP(ip, b4);
        if (r == 0) return ipBegin;
        else if (r < 0) return -1;
        // 开始二分搜索
        for (long i = ipBegin, j = ipEnd; i < j; ) {
            m = getMiddleOffset(i, j);
            readIP(m, b4);
            r = compareIP(ip, b4);
            // log.debug(Utils.getIpStringFromBytes(b));
            if (r > 0)
                i = m;
            else if (r < 0) {
                if (m == j) {
                    j -= IP_RECORD_LENGTH;
                    m = j;
                } else
                    j = m;
            } else
                return readLong3(m + 4);
        }
        // 如果循环结束了,那么i和j必定是相等的,这个记录为最可能的记录,但是并非
        //     肯定就是,还要检查一下,如果是,就返回结束地址区的绝对偏移
        m = readLong3(m + 4);
        readIP(m, b4);
        r = compareIP(ip, b4);
        if (r <= 0) return m;
        else return -1;
    }

    /**
     * 得到begin偏移和end偏移中间位置记录的偏移
     *
     * @param begin
     * @param end
     * @return
     */
    private long getMiddleOffset(long begin, long end) {
        long records = (end - begin) / IP_RECORD_LENGTH;
        records >>= 1;
        if (records == 0) records = 1;
        return begin + records * IP_RECORD_LENGTH;
    }

    /**
     * 给定一个ip国家地区记录的偏移,返回一个IPLocation结构
     *
     * @param offset 国家记录的起始偏移
     * @return IPLocation对象
     */
    private IPLocation getIPLocation(long offset) {
        try {
            // 跳过4字节ip
            ipFile.seek(offset + 4);
            // 读取第一个字节判断是否标志字节
            byte b = ipFile.readByte();
            if (b == REDIRECT_MODE_1) {
                // 读取国家偏移
                long countryOffset = readLong3();
                // 跳转至偏移处
                ipFile.seek(countryOffset);
                // 再检查一次标志字节,因为这个时候这个地方仍然可能是个重定向
                b = ipFile.readByte();
                if (b == REDIRECT_MODE_2) {
                    loc.setCountry(readString(readLong3()));
                    ipFile.seek(countryOffset + 4);
                } else
                    loc.setCountry(readString(countryOffset));
                // 读取地区标志
                loc.setArea(readArea(ipFile.getFilePointer()));
            } else if (b == REDIRECT_MODE_2) {
                loc.setCountry(readString(readLong3()));
                loc.setArea(readArea(offset + 8));
            } else {
                loc.setCountry(readString(ipFile.getFilePointer() - 1));
                loc.setArea(readArea(ipFile.getFilePointer()));
            }
            return loc;
        } catch (IOException e) {
            return null;
        }
    }

    /**
     * 给定一个ip国家地区记录的偏移,返回一个IPLocation结构,此方法应用与内存映射文件方式
     *
     * @param offset 国家记录的起始偏移
     * @return IPLocation对象
     */
    private IPLocation getIPLocation(int offset) {
        // 跳过4字节ip
        mbb.position(offset + 4);
        // 读取第一个字节判断是否标志字节
        byte b = mbb.get();
        if (b == REDIRECT_MODE_1) {
            // 读取国家偏移
            int countryOffset = readInt3();
            // 跳转至偏移处
            mbb.position(countryOffset);
            // 再检查一次标志字节,因为这个时候这个地方仍然可能是个重定向
            b = mbb.get();
            if (b == REDIRECT_MODE_2) {
                loc.setCountry(readString(readInt3()));
                mbb.position(countryOffset + 4);
            } else
                loc.setCountry(readString(countryOffset));
            // 读取地区标志
            loc.setArea(readArea(mbb.position()));
        } else if (b == REDIRECT_MODE_2) {
            loc.setCountry(readString(readInt3()));
            loc.setArea(readArea(offset + 8));
        } else {
            loc.setCountry(readString(mbb.position() - 1));
            loc.setArea(readArea(mbb.position()));
        }
        return loc;
    }

    /**
     * 从offset偏移开始解析后面的字节,读出一个地区名
     *
     * @param offset 地区记录的起始偏移
     * @return 地区名字符串
     * @throws IOException
     */
    private String readArea(long offset) throws IOException {
        ipFile.seek(offset);
        byte b = ipFile.readByte();
        if (b == REDIRECT_MODE_1 || b == REDIRECT_MODE_2) {
            long areaOffset = readLong3(offset + 1);
            if (areaOffset == 0)
                return UNKNOWN_AREA;
            else
                return readString(areaOffset);
        } else
            return readString(offset);
    }

    /**
     * @param offset 地区记录的起始偏移
     * @return 地区名字符串
     */
    private String readArea(int offset) {
        mbb.position(offset);
        byte b = mbb.get();
        if (b == REDIRECT_MODE_1 || b == REDIRECT_MODE_2) {
            int areaOffset = readInt3();
            if (areaOffset == 0)
                return UNKNOWN_AREA;
            else
                return readString(areaOffset);
        } else
            return readString(offset);
    }

    /**
     * 从offset偏移处读取一个以0结束的字符串
     *
     * @param offset 字符串起始偏移
     * @return 读取的字符串,出错返回空字符串
     */
    private String readString(long offset) {
        try {
            ipFile.seek(offset);
            int i;
            for (i = 0, buf[i] = ipFile.readByte(); buf[i] != 0; buf[++i] = ipFile.readByte()) ;
            if (i != 0)
                return Util.getString(buf, 0, i, "GBK");
        } catch (IOException e) {
            LOGGER.error(e.getMessage(), e);
        }
        return "";
    }

    /**
     * 从内存映射文件的offset位置得到一个0结尾字符串
     *
     * @param offset 字符串起始偏移
     * @return 读取的字符串,出错返回空字符串
     */
    private String readString(int offset) {
        try {
            mbb.position(offset);
            int i;
            for (i = 0, buf[i] = mbb.get(); buf[i] != 0; buf[++i] = mbb.get()) ;
            if (i != 0)
                return Util.getString(buf, 0, i, "GBK");
        } catch (IllegalArgumentException e) {
            LOGGER.error(e.getMessage(), e);
        }
        return "";
    }

    public String getCity(final String ipAddress) {
        try {
            if (ipAddress.startsWith("192.168.")) {
                LOGGER.error("此IP[{}]段不进行处理!", ipAddress);
                return null;
            }
            return getIPLocation(ipAddress).getCity();
        } catch (Exception e) {
            LOGGER.error("根据IP[{}]获取省份失败:{}", ipAddress, e.getMessage());
            return null;
        }
    }

    public static void main(String[] args) {
        String address;
        for (int i = 0; i < 40000; i++) {
            address = "101.69.252.186";
            IPAddressUtils ip = new IPAddressUtils();
            IPLocation ipLocation = ip.getIPLocation(address);
            String country = ipLocation.getCountry();
            String city = ipLocation.getCity();
            String area = ipLocation.getArea();
            System.out.println(country + ";" + city + ";" + area + i);
        }
    }
}
## ---------------------分割线----------------------
public class IPLocation {
    /**
     * 国家
     */
    private String country;
    /**
     * 区域 - 省份 + 城市
     */
    private String area;

    public IPLocation() {
        country = area = "";
    }

    public synchronized IPLocation getCopy() {
        IPLocation ret = new IPLocation();
        ret.country = country;
        ret.area = area;
        return ret;
    }

    public String getCountry() {
        return country;
    }

    public String getCity() {
        String city = "";
        if(country != null){
            String[] array = country.split("省");
            if(array != null && array.length > 1){
                city =  array[1];
            } else {
                city = country;
            }
            if(city.length() > 3){
                city.replace("内蒙古", "");
            }
        }
        return city;
    }

    public void setCountry(String country) {
        this.country = country;
    }

    public String getArea() {
        return area;
    }

    public void setArea(String area) {
        //如果为局域网,纯真IP地址库的地区会显示CZ88.NET,这里把它去掉
        if(area.trim().equals("CZ88.NET")){
            this.area="本机或本网络";
        }else{
            this.area = area;
        }
    }
}


本文自用! 原文来自网上,如有问题可联系我

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lib-qqwry是一个高效查询纯真 IP (qqwry.dat)的模块。它是用 NodeJS 解析纯真 IP (QQwry.dat) ,支持 IP查询。为更好的字符转化效率,未使用iconv模块,直接使用gbk编码表文件。经过不断优化,相同环境下,单次查询速度从最初的0.6毫秒提升到现在的0.004毫秒。实现的功能1.通过IP地址或有效的IP数值,搜索IP地址对应的地理位置信息。2.搜索一个IP段的地理位置信息。3.IP地址与数值的互转。npm安装npm install lib-qqwry调用方法var qqwry = require('lib-qqwry').info(); //调用并初始化,普通机器初始需要70毫秒左右; var ipL = qqwry.searchIP("202.103.102.10"); //查询IP信息 var ipLA = qqwry.searchIPScope("0.0.0.0","1.0.0.0");  //查询IP段信息API标明的"静态方法"可以值接使用,无需初始化.初使化操作会将GBK编码表,IP加载到内存中,以提高后续的查询效率,大概占用12M左右的内存.info(dataPath) IP初始化dataPath : IP路径,可选; //默认路径为data文件夹中(__dirname "/data/qqwry.dat");callback : 回调函数 //可在此时调用查询函数infoAsync(dataPath,callback) IP初始化的异步方法info()的异步方法; 初始化需要70毫秒,以及占用9MB左右的内存,项目资源紧张可以异步初始化。//你可以这样 qqwry.info(); var ipL = qqwry.searchIP("202.103.102.10"); //也可以这样初始化,推荐; qqwry.infoAsync(function(){     var ipL = qqwry.searchIP("202.103.102.10"); });unInfo() 释放初始化后占用的资源info()的逆方法searchIP(IP) 单个IP查询IP : IP地址/IP数值 反回一个JSON对像;> qqwry.searchIP("255.255.255.255"); { ip: '255.255.255.255',   Country: '纯真网络',   Area: '2013年6月10日IP数据' }searchIPScope(beginIP,endIP) IP查询beginIP : 启始IPendIP : 结束IP反回一个JSON对像数组;> qqwry.searchIPScope("0.0.0.0","1.0.0.0"); [ { begIP: '0.0.0.0',     endIP: '0.255.255.255',     Country: 'IANA保留地址',     Area: ' CZ88.NET' },   { begIP: '1.0.0.0',     endIP: '1.0.0.255',     Country: '澳大利亚',     Area: ' CZ88.NET' } ]searchIPScopeAsync(beginIP,endIP,callback) IP查询的异步方法searchIPScope() 的异步方法,查询结果会以第一个参数的形式传给回调函数;DBUG(Bool) 调试模式开关,默认未启用DUBG模式会在控制台输出查询的关键信息,方便定位错误;var qqwry = require('lib-qqwry').DBUG().info(); //开启调试模式并初始化 qqrry.DBUG(false); //关闭调试模式;ipToInt(IP) IP地址转数值(静态方法)> qqwry.ipToInt("255.255.255.255") 4294967295intToIP(INT) 数值转IP地址(静态方法)> qqwry.intToIP(4294967295) '255.255.255.255'ipEndianChange(INT) 字节序转换(静态方法)按32位转换参数的字节序一些云平台的环境变量中IP信息可能是Little-Endian形式的数值;比如百度node.js环境中的 process.env.BAE_ENV_COOKIE_IP , 这时候就有用了;> qqwry.ipEndianChange(0x010000FF) 4278190081 //0xFF000001文档说明./data/qqwry.dat  默认IP,可用最新I
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值