过滤字符串中的Emoji表情

最新推荐文章于 2024-07-08 03:20:14 发布
最新推荐文章于 2024-07-08 03:20:14 发布
阅读量3.3w 收藏 4
点赞数 1
分类专栏： java 基础

    iOS 5.0之前，苹果都是采用3个字节来承接 emoji 表情，Java 的普通 char 可以支持显示。但 iOS 5.0 之后， 苹果升级了系统自带的 emoji 表情输入法，用的 Unicode 6 标准来统一，是采用4个 bytes 来承接一个 emoji 表情。如果不做处理的话，这种表情直接存储到 mysql5.5 以下的数据库是会报错的。就像这两个表情一样：口口, 在 Windows 8 以下估计都不支持显示，可能会显示成框框，可能压根就是空白， 你可以在 Mac 中使用Safari 浏览器中，就可以看到。经过测试，在 Mac 就算用 Chrome 浏览器(Version 25.0.1364.172)也是不行的。

这种数据在 Mysql 5.5 之前，UTF-8 支持1-3个字节的编码，从 Mysql5.5 开始后，可以支持4个字节的 UTF 编码，但要特殊标记。修改 Mysql 相应存储字段为 utf8mb4 。修改语句如下： 

1ALTER TABLE table_name
2  MODIFY COLUMN content varchar(500) CHARACTER
3  SET utf8mb4 COLLATE utf8mb4_unicode_ci
4  DEFAULT NULL COMMENT 'content of message';
在某种业务情景下，我们可以选择过滤掉这种“非法”的字符。我采用的方式是，在字符上面做操作，下面是Java示例代码，核心的代码附上，应该是 无法直接下载就能够编译，你得小小的做一些微调，没有额外的依赖：
01public class EmojiFilter {
02 
03    /**
04     * 检测是否有emoji字符
05     * @param source
06     * @return 一旦含有就抛出
07     */
08    public static boolean containsEmoji(String source) {
09        if (StringUtils.isBlank(source)) {
10            return false;
11        }
12 
13        int len = source.length();
14 
15        for (int i = 0; i < len; i++) {
16            char codePoint = source.charAt(i);
17 
18            if (isEmojiCharacter(codePoint)) {
19                //do nothing，判断到了这里表明，确认有表情字符
20                return true;
21            }
22        }
23 
24        return false;
25    }
26 
27    private static boolean isEmojiCharacter(char codePoint) {
28        return (codePoint == 0x0) ||
29                (codePoint == 0x9) ||
30                (codePoint == 0xA) ||
31                (codePoint == 0xD) ||
32                ((codePoint >= 0x20) && (codePoint <= 0xD7FF)) ||
33                ((codePoint >= 0xE000) && (codePoint <= 0xFFFD)) ||
34                ((codePoint >= 0x10000) && (codePoint <= 0x10FFFF));
35    }
36 
37    /**
38     * 过滤emoji 或者 其他非文字类型的字符
39     * @param source
40     * @return
41     */
42    public static String filterEmoji(String source) {
43 
44        if (!containsEmoji(source)) {
45            return source;//如果不包含，直接返回
46        }
47        //到这里铁定包含
48        StringBuilder buf = null;
49 
50        int len = source.length();
51 
52        for (int i = 0; i < len; i++) {
53            char codePoint = source.charAt(i);
54 
55            if (isEmojiCharacter(codePoint)) {
56                if (buf == null) {
57                    buf = new StringBuilder(source.length());
58                }
59 
60                buf.append(codePoint);
61            } else {
62            }
63        }
64 
65        if (buf == null) {
66            return source;//如果没有找到 emoji表情，则返回源字符串
67        } else {
68            if (buf.length() == len) {//这里的意义在于尽可能少的toString，因为会重新生成字符串
69                buf = null;
70                return source;
71            } else {
72                return buf.toString();
73            }
74        }
75 
76    }
77}

还有优化的空间，但是已经能够满足大多数情况的需求，附上单元测试(JUnit4):

01public class EmojiFilterTest {
02 
03 
04 /**
05     * 测试emoji表情
06     */
07    @Test
08    public void fileterEmoji() {
09        String s = "<body>口口213这是一个有各种内容的消息,  Hia Hia Hia !!!! xxxx@@@...*)!" +
10                "(@*$&@(&#!)@*)!&$!)@^%@(!&#. 口口口], ";
11        String c = Utils.filterEmoji(s);
12        assertFalse(s.equals(c));
13        String expected = "<body>213这是一个有各种内容的消息,  Hia Hia Hia !!!! xxxx@@@...*)" +
14                "!(@*$&@(&#!)@*)!&$!)@^%@(!&#. ], ";
15        assertEquals(expected, c);
16//        assertSame(c, expected);
17        assertSame(expected, "<body>213这是一个有各种内容的消息,  Hia Hia Hia !!!! xxxx@@@...*)" +
18                "!(@*$&@(&#!)@*)!&$!)@^%@(!&#. ], ");
19        assertSame(c, Utils.filterEmoji(c));
20    }
21 
22}

原文链接：http://doombyte.com/blog/2013/03/20/filter-emoji-emotion-in-string/


swpihchj
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
过滤字符串中包含表情字符
07-03
过滤一个字符串中包含有表情的字符，例如一个用户昵称中包含的表情
过滤emoj表情
qq874039013的博客
05-30 257
 $regex = '/([0-9|#][\x{20E3}])|[\x{00ae}|\x{00a9}|\x{203C}|\x{2047}|\x{2048}|\x{2049}|\x{3030}|\x{303D}|\x{2139}|\x{2122}|\x{3297}|\x{3299}][\x{FE00}-\x{FEFF}]?|[\x{2190}-\x{21FF}][\x{FE00}-\x{FEFF}]...
java 字符串包含表情去除
最新发布
weixin_40943493的博客
07-08 57
如何实现Java字符串包含表情去除 简介 作为一名经验丰富的开发者，你可能会遇到一些新手开发者不知道如何实现特定功能的情况。本文将教你如何实现Java字符串包含表情去除的操作。 流程图 #render_12_2567407195-svg{font-family:"trebuchet ms",verdana,arial,sa...
过滤字符串表情符
回不去的编程之路lgz
08-07 1512
private static final String EMOJI = "[\\ud800\\udc00-\\udbff\\udfff\\ud800-\\udfff]"; public static String encryptEmojiByDES(String strWithEmoji) { if (!Str.isEmpty(strWithEmoji)) {
过滤emoji表情
haoyanyu_的博客
01-19 811
实际项目中，input输入框经常用来输入手机号，姓名，邮箱等内容，会对文本格式进行限制，例如只能输入数字，字幕或者汉字。而iOS输入法中自带emoji表情，要过滤emoji表情时可以使用以下方法 filterEmoji(str) { if (typeof str !== 'string') return str; // eslint-disable-next-line re...
过滤文本或字符串中的emoji表情(包括微信自带表情处理)
⁣⁣⁣⁣　⁣⁣⁣⁣
12-24 3352
过滤字符串中的emoji表情 网上搜索了很久，都没有一个很好的解决方案，经过多方查证和测试，有了自己的处理方案，写出来分享一下。 问题重点 微信聊天记录中，微信自带表情会变成[微笑] [握手]等格式，如何判断出字符串中该类表情以及如何去除 对于emoji表情，字符串中是一个小方块，如何筛选与判断 实现效果 public static void main(String[] args) { String str = "[微笑]][[好\uD83D\uDC4C的[握拳]"; Syste
edittext过滤字符串中的表情
11-21
这时，我们就需要实现一个功能，即“edittext过滤字符串中的表情”。 表情的表示方式通常有两种：一种是文本形式，如`:smile:`或``，另一种是Unicode编码形式。在Android中，emoji表情大多以Unicode编码存在。因此...
php 过滤emoji表情
02-04
"php 过滤emoji表情"这个话题就聚焦于如何在PHP中有效地识别并过滤这些特殊字符。 首先，我们需要理解emoji表情的本质。它们是由Unicode编码标准定义的一系列图形符号，用于增强文本的情感表达。在Web应用中，这些...
过滤特殊字符及表情符
08-05
- **字符串函数**：Java中的`String.replaceAll()`方法，可以结合正则表达式实现过滤。 - **自定义过滤器**：对于更复杂的需求，可以编写自定义过滤器，如提供的`TextWatcherImpl.java`和`MaxLengthInputFilter....
JavaScript代码判断输入的字符串是否含有特殊字符和表情代码实例
10-19
主要介绍了JavaScript代码判断输入的字符串是否含有特殊字符和表情，通过js代码if语句进行判断，并结合自己开发的情景，具体操作步骤大家可查看下文的详细讲解，感兴趣的小伙伴们可以参考一下。
【笔记】 emoji 字符的识别与过滤
LawssssCat的博客
12-07 992
像下面这种字符，是本文要讨论的 emoji 字符：😄😊😃😍😉Emoji 是 Unicode 的一部分，它在 Unicode 中有对应的码点（ CodePoint），也就是说，Emoji 符号就是一个 Unicode 字符。
过滤表情工具类，可以过滤掉微信名称里面的表情
10-23
可以过滤掉emoji表情等字符串，下载的亲们，请评论下，谢谢，里面有用到StringUtils工具类，如果没有的小伙伴可以来我的资源里面下载！ ！
gomoji:在 Golang 中使用表情符号的有用功能
05-30
五字谜 以最便捷的方式使用表情符号 GoMoji 是一个 Go 包，它提供了一种方法来处理字符串中的表情符号。 它具有以下功能： ， ， ， 入门 安装 要开始使用GoMoji，请安装Go并运行go get ： $ go get -u github.com/forPelevin/gomoji 这将检索包。 检查字符串包含表情符号 package main import ( "github.com/forPelevin/gomoji" ) func main () { res := gomoji . ContainsEmoji ( "hello world" ) println ( res ) // false res = gomoji . ContainsEmoji ( "hello world :hugging_face:" ) println ( r
Emoji 转换 包含js前台转换 和c# EmojiCodeHelper类 可以前后台来回转换
09-23
Emoji 转换 包含js前台转换 和c# EmojiCodeHelper类 可以前后台来回转换，Emoji 转换 包含js前台转换 和c# EmojiCodeHelper类 可以前后台来回转换，Emoji 转换 包含js前台转换 和c# EmojiCodeHelper类 可以前后台来回转换，
C# .net 去除/过滤Emoji表情分享
aaliyuan的博客
02-28 6675
C# .net 去除/过滤Emoji表情分享 Emoji去除 字符串存Mysql 因为项目需要，所以需要去除Emoji表情，但是网上文章很多，使用的都不够顺畅 正则等等好多方式，比较多的是JAVA的，根据编码过滤 在自己的项目里面测试这个有点麻烦，不断的重启等 给新手推荐一个网址，可以在线测试一些简单的代码，无需再调试了 链接: 菜鸟教程 下面的截图都来自菜鸟教程截图 一开始我是使用的&lt...
golang emoji表情处理
zyx4843的专栏
09-01 5594
package util import ( "regexp" "strconv" "strings" ) //表情解码 func UnicodeEmojiDecode(s string) string { //emoji表情的数据表达式 re := regexp.MustCompile("\\[[\\\\u0-9a-zA-Z]+\\]") /
Emoji表情过滤
yuqing2015的专栏
05-04 693
et_content.setFilters(new InputFilter[]{inputFilter, new InputFilter.LengthFilter(100)}); InputFilter inputFilter = new InputFilter() { Pattern pattern = Pattern.compile("[^a-zA-Z0-9\\u4E00...
过滤文本中的emoji表情
LILAIQUN博客
06-05 1137
/** * @Description 滤emoji 或者 其他非文字类型的字符 * @param source * @return */ public static String filterEmoji(String source) { if (StringUtils.isBlank(source)) { return source; } StringBuilder buf = new StringBuilder(); int len = source.length.
前端过滤掉字符串里面的emoji表情
05-25
可以使用JavaScript的正则表达式来过滤掉字符串里面的emoji表情。以下是一个示例代码： ``` function filterEmoji(str) { // 删除字符串中的emoji表情 return str.replace(/\uD83C[\uDF00-\uDFFF]|\uD83D[\uDC00-\uDE4F]/g, ''); } // 示例 const str = 'Hello 😊 World 🌎'; console.log(filterEmoji(str)); // 输出：Hello World ``` 在上面的代码中，使用了正则表达式来匹配emoji表情，然后使用replace方法将其删除。其中，`\uD83C[\uDF00-\uDFFF]|\uD83D[\uDC00-\uDE4F]`是匹配emoji表情的正则表达式。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值