JAVA实现过滤掉文本中的表情

公司是做电商的,在数据采集这方面,要进行大量的数据采集,在数据采集的时候遇到了很多的问题,有一些文本包含表情,数据库用的是utf8字符集,这样就保存到数据库中就会报错,本来是可以把数据库的字符集改成utf8mb4,这样就可以保存带有表情,,但是考虑一直在使用utf8,则就使用了过滤掉文本中的表情;代码如下:

package com.zjr.common.utils;
 
import org.apache.commons.lang3.StringUtils;
 public class EmojiFilter{
	    	/**
	    	 * 检测是否有emoji字符
	    	 * 
	    	 * @param source
	    	 * @return 一旦含有就抛出
	    	 */
	    	public static boolean containsEmoji(String source) {
	    		if (StringUtils.isBlank(source)) {
	    			return false;
	    		}
	
	 
			int len = source.length();
	 
			for (int i = 0; i < len; i++) {
				char codePoint = source.charAt(i);
	 
				if (isEmojiCharacter(codePoint)) {
					// do nothing,判断到了这里表明,确认有表情字符
					return true;
				}
			}
	 
			return false;
		}

		private static boolean isEmojiCharacter(char codePoint) {
			return (codePoint == 0x0) || (codePoint == 0x9) || (codePoint == 0xA) || (codePoint == 0xD) || ((codePoint >= 0x20) && (codePoint <= 0xD7FF))
					|| ((codePoint >= 0xE000) && (codePoint <= 0xFFFD)) || ((codePoint >= 0x10000) && (codePoint <= 0x10FFFF));
		}
	 
		/**
		 * 过滤emoji 或者 其他非文字类型的字符
		 * 
		 * @param source
		 * @return
		 */
		public static String filterEmoji(String source) {
	 
			if (!containsEmoji(source)) {
				return source;// 如果不包含,直接返回
			}
			// 到这里铁定包含
			StringBuilder buf = null;
	 
			int len = source.length();
	 
			for (int i = 0; i < len; i++) {
				char codePoint = source.charAt(i);
	 
				if (isEmojiCharacter(codePoint)) {
					if (buf == null) {
						buf = new StringBuilder(source.length());
					}
	 
					buf.append(codePoint);
				} 
			}
	 
			if (buf == null) {
				return source;// 如果没有找到 emoji表情,则返回源字符串
			} else {
				if (buf.length() == len) {// 这里的意义在于尽可能少的toString,因为会重新生成字符串
					buf = null;
					return buf;
				} else {
					return buf.toString();
				}
			}
		}
  }
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值