JAVA过滤文字中的emoji表情及特殊字符及完整Unicode字符对照

问题背景

在做接口对接的过程中都会涉及到签名的计算，但多数的签名算法都会根据入参去生成sign，但是随着各种社交电商的普及，用户信息中的很多字段都会出现emoji表情和特殊字符(例如:用户昵称，用户评论，用户问题描述),在此类数据传输计算sign时就会出现编码问题引起的sign计算问题，导致数据传输失败

解决方案

在计算sign是对可能存在特殊字符的字段进行特殊字符过滤，然后在进行sign计算，关于特殊字符的范围不太好确定，一般建议只要用户可维护的字段都需要进行此类数据处理。

实现代码

/**
 * @author huachao
 * @date 2020/8/29 16:27
 */
public class StringUtil {

    /**
     * 过滤特殊字符
     * @param str
     * @return
     */
    public static String stringFilter (String str){
        String regEx="[`~!@#$%^&*()+=|{}':;',\\[\\].<>/?~！@#￥%……&*（）——+|{}【】‘；：”“’。，、？]";
        Pattern p = Pattern.compile(regEx);
        Matcher m = p.matcher(str);
        return m.replaceAll("").trim();
    }

    /**
     * 过滤emoji表情
     *
     * @param source
     * @return
     */
    public static String filterEmoji(String source) {
        if(source != null)
        {
            Pattern emoji = Pattern.compile("[\ud83c\udc00-\ud83c\udfff]|[\ud83d\udc00-\ud83d\udfff]|[\u2600-\u27ff]|" +
                            "[\ud83e\udd00-\ud83e\uddff]|[\u2300-\u23ff]|[\u2500-\u25ff]|[\u2100-\u21ff]|[\u00a0-\u0fff]|[\u2b00-\u2bff]|[\u2d06]|[\u3030]"
                    ,Pattern.UNICODE_CASE | Pattern.CASE_INSENSITIVE ) ;

            Matcher emojiMatcher = emoji.matcher(source);
            if ( emojiMatcher.find())
            {
                source = emojiMatcher.replaceAll("*");
                return source ;
            }
            return source;
        }
        return source;
    }
}

代码说明

关于特殊字符过滤扩展

这里列举了大多数的特殊字符，如果后续有发现新的字符，可以在正则中继续添加即可

关于emoji表情扩展

这里需要注意一下，emoji的范围中包含多个unicode段，之前同事处理的时候直接复制粘贴网上的资料，导致用户评论里面的数字和大小写字母都被屏蔽了，导致处理问题。
这里的多端unicode看参照此文档https://www.heyxiang.cn/unicode.html进行选择，楼主也是根据这里的各个段的区间调出的适合我们业务需求的正则的。