Hive UDF实现身份证强校验

工作中需要对Hive表中的身份证号进行强校验，由于最后一位是校验位，因此，简单的正则无法实现，随用UDF实现相关功能。

我只是实现了功能，没有做深入的优化，欢迎各位留言，指导下如何优化，不胜感激。

源码如下，

import org.apache.hadoop.hive.ql.exec.UDF;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashSet;
import java.util.regex.Pattern;
/**
 * 校验身份证号
 * 身份证格式强校验规则：
 * 1、号码的结构 公民身份号码是特征组合码，由十七位数字本体码和一位校验码组成。排列顺序从左至右依次为：六位数字地址码，八位数字出生日期码，三位数字顺序码和一位数字校验码。
 * 2、地址码(前六位数）表示编码对象常住户口所在县(市、旗、区)的行政区划代码，按GB/T2260的规定执行。具体参照：http://www.mca.gov.cn/article/sj/xzqh/2019/
 * 3、出生日期码（第七位至十四位）表示编码对象出生的年、月、日，按GB/T7408的规定执行，年、月、日代码之间不用分隔符。
 * 4、顺序码（第十五位至十七位）表示在同一地址码所标识的区域范围内，对同年、同月、同日出生的人编定的顺序号，顺序码的奇数分配给男性，偶数分配给女性。
 * 5、校验码（第十八位数）
 *（1）十七位数字本体码加权求和公式 S = Sum(Ai * Wi), i = 0, ... , 16 ，先对前17位数字的权求和
 * Ai:表示第i位置上的身份证号码数字值 Wi:表示第i位置上的加权因子 Wi: 7 9 10 5 8 4 2 1 6 3 7 9 10 5 8 4
 *（2）计算模 Y = mod(S, 11) （3）通过模得到对应的校验码 Y: 0 1 2 3 4 5 6 7 8 9 10 校验码: 1 0 X 9 8 7 6 5 4 3 2
 */
public class CheckIDNumber  extends UDF{

    //数字正则
    private static final String regexNum = "^[0-9]*$";
    //闰年生日正则
    private static final String regexBirthdayInLeapYear = "^((19[0-9]{2})|(2[0-9]{3}))((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))$";
    //平年生日正则
    private static final String regexBirthdayInCommonYear = "^((19[0-9]{2})|(2[0-9]{3}))((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))$";

    // 香港地域编码值
    private static final int HONGKONG_AREACODE = 810000;
    // 台湾地域编码值
    private static final int TAIWAN_AREACODE = 710000;
    // 澳门地域编码值
    private static final int MACAO_AREACODE = 820000;

    // 其他省份编码值
    private static final HashSet<Integer> provincesCode = new HashSet<Integer>(32);
    static {
        /*
            这里初始化的地区编码仅仅是省份编码，
            是因为经过核对GB/T2260-1999中的完整地区编码很多与身份证号的地区编码不符，
            因此没有比对完整的地区编码
        */
        provincesCode.add(11);
        provincesCode.add(12);
        provincesCode.add(13);
        provincesCode.add(14);
        provincesCode.add(15);
        provincesCode.add(21);
        provincesCode.add(22);
        provincesCode.add(23);
        provincesCode.add(31);
        provincesCode.add(32);
        provincesCode.add(33);
        provincesCode.add(34);
        provincesCode.add(35);
        provincesCode.add(36);
        provincesCode.add(37);
        provincesCode.add(41);
        provincesCode.add(42);
        provincesCode.add(43);
        provincesCode.add(44);
        provincesCode.add(45);
        provincesCode.add(46);
        provincesCode.add(50);
        provincesCode.add(51);
        provincesCode.add(52);
        provincesCode.add(53);
        provincesCode.add(54);
        provincesCode.add(61);
        provincesCode.add(62);
        provincesCode.add(63);
        provincesCode.add(64);
        provincesCode.add(65);
    }

    public static boolean evaluate(String idNumber) {
        // 去空格,并将字母修改为大写
        idNumber = idNumber.trim().toUpperCase();
        // 身份证正则校验
        if (!checkIdNumberRegex(idNumber)) {
            return false;
        }
        // 身份证地区码检查
        if (!checkIdNumberArea(idNumber.substring(0, 6))) {
            return false;
        }
        // 将15位身份证转换为18位
        idNumber = convertFifteenToEighteen(idNumber);
        // 身份证出生日期检查
        if (!checkBirthday(idNumber.substring(6, 14))) {
            return false;
        }
        // 身份证校验码检查
        if (!checkIdNumberVerifyCode(idNumber)) {
            return false;
        }
        return true;
    }

    /**
     * 身份证正则校验
     */
    private static boolean checkIdNumberRegex(String idNumber) {
        return Pattern.matches("^([0-9]{17}[0-9Xx])|([0-9]{15})$", idNumber);
    }

    /**
     * 将15位身份证转换为18位
     */
    private static String convertFifteenToEighteen(String idNumber) {
        if (15 != idNumber.length()) {
            return idNumber;
        }
        // 年份前加19，并加上数据校验位
        idNumber = idNumber.substring(0, 6) + "19" + idNumber.substring(6, 15);
        idNumber = idNumber + getVerifyCode(idNumber);
        return idNumber;
    }

    /**
     * 身份证地区码检查
     *  注意：这里仅仅对比了省份编码，没有对比市县镇编码，是因为经过核对GB/T2260-1999中的地区编码很多与身份证号的地区编码不符，因此没有比对完整的地区编码
     */
    private static boolean checkIdNumberArea(String idNumberArea) {
        // 比对港澳台地区编码
        int areaCode = Integer.parseInt(idNumberArea);
        if (areaCode == HONGKONG_AREACODE || areaCode == MACAO_AREACODE || areaCode == TAIWAN_AREACODE) {
            return true;
        }
        // 比对其他省份编码
        Integer provincesCodeTemp = Integer.parseInt(idNumberArea.substring(0,2));
        return  provincesCode.contains(provincesCodeTemp);
    }

    /**
     * 身份证出生日期嘛检查
     */
    private static boolean checkBirthday(String idNumberBirthdayStr) {
        Integer year = null;
        try {
            year = Integer.valueOf(idNumberBirthdayStr.substring(0, 4));
        } catch (Exception e) {
        }
        if (null == year) {
            return false;
        }

        boolean birthdayMatch;
        // 校验出生日期是否是标准的日期格式
        if (isLeapYear(year)) {
            // 闰年
            birthdayMatch = Pattern.matches(regexBirthdayInLeapYear, idNumberBirthdayStr);
        } else {
            birthdayMatch = Pattern.matches(regexBirthdayInCommonYear, idNumberBirthdayStr);
        }
        if(birthdayMatch){
            // 出生日期只能小于等于当前系统日期
            SimpleDateFormat formatter = new SimpleDateFormat("yyyyMMdd");
            Date birthday;
            try {
                birthday = formatter.parse(idNumberBirthdayStr);
            } catch (ParseException e) {
                e.printStackTrace();
                return false;
            }
            int number = birthday.compareTo(new Date());
            return number == -1 || number ==0;
        }
        return birthdayMatch;
    }

    /**
     * 判断是否为闰年
     */
    private static boolean isLeapYear(int year) {
        return (year % 400 == 0) || (year % 100 != 0 && year % 4 == 0);
    }

    /**
     * 根据身份证前17位计算身份证校验码
     */
    private static String getVerifyCode(String idNumber) {
        if (!Pattern.matches(regexNum, idNumber.substring(0, 17))) {
            return null;
        }
        String[] ValCodeArr = { "1", "0", "X", "9", "8", "7", "6", "5", "4", "3", "2" };
        String[] Wi = { "7", "9", "10", "5", "8", "4", "2", "1", "6", "3", "7", "9", "10", "5", "8", "4", "2" };

        int sum = 0;
        for (int i = 0; i < 17; i++) {
            sum = sum + Integer.parseInt(String.valueOf(idNumber.charAt(i))) * Integer.parseInt(Wi[i]);
        }
        return ValCodeArr[sum % 11];
    }

    /**
     * 身份证校验码检查
     */
    private static boolean checkIdNumberVerifyCode(String idNumber) {
        return getVerifyCode(idNumber).equalsIgnoreCase(idNumber.substring(17));
    }

}

打包后将jar包上传到hdfs

create function hive_udf.check_idnumber as 'com.business.bi.udf.CheckIDNumber'  USING JAR  'hdfs://hadoop1/user/hive/warehouse/hive_udf.db/MyHiveUDF.jar';

参考：https://blog.csdn.net/zhengyong15984285623/article/details/51784731

做了一下修改：

1、包装成UDF;

2、地区编号由校验区间改成校验省份；

3、扩展校验生日日期有效性，主要是比对当前日期。