Java 中文字符判断

最新推荐文章于 2024-01-13 16:36:52 发布

小小她爹

最新推荐文章于 2024-01-13 16:36:52 发布

阅读量2k

点赞数 1

分类专栏： ---自然语言处理大数据与自然语言处理文章标签：自然语言处理

本文链接：https://blog.csdn.net/everlasting_188/article/details/75087669

版权

大数据与自然语言处理同时被 2 个专栏收录

43 篇文章 13 订阅

订阅专栏

---自然语言处理

18 篇文章 0 订阅

订阅专栏

主要摘要自：

http://www.cnblogs.com/zztt/p/3427452.html Java 中文字符判断中文标点符号判断

http://blog.csdn.net/chy555chy/article/details/51938914 ASCII (包括Java中2种表示ASCII的方式)

https://en.wikipedia.org/wiki/CJK_Unified_Ideographs CJK编码规范

Java Character 实现Unicode字符集介绍 CJK中文字符和中文标点判断

主要内容：

1. Java Character类介绍；

2. Unicode 简介及 UnicodeBlock 与 UnicodeScript区别和联系

3. 如何判断汉字及中文标点符号

做中文信息处理，经常会遇到如何判断一个字是否是中文，或者是否是中文的标点符号等。

在Java中，主要使用 Character类处理字符有关功能，而JDK 1.7中Character是按照Unicode 6.0版本实现的，所以这个要先学习下常用的 Unicode编码。

具体的定义、历史等请见 wikiwikipedia

Character 类中有3个静态内部类，

其中的UnicodeBlock 和 UnicodeScript类可以帮助我们判断字符类型，

UnicodeBlock是Unicode标准协会组织unicode码的一个基本单位，实际上一个 UnicodeBlock代表一片连续的Unicode号码段，UnicodeBlock之间不重叠。例如，通常我们利用Unicode编码是否在 0x4E00–0x9FCC 来判断某字符是否为汉字，就是因为，有个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字)，这个UnicodeBlock叫做 CJK Unified Ideographs，总共定义了 74,617 个汉字。

当然还有其他很多UnicodeBlock，例如，对于汉字还有4个扩展 UnicodeBlock，CJK Unified Ideographs Extension A, B, C, D 分别都扩展了一些我们平时见都没见过的汉字(如果不是专门的古籍数字化，Unicode字符集中的汉字普通交流够了)

Unicode中一种Script通常就是一个字符或者其他书写符号的集合，代表着一种或多种writing systems （这里暂且翻译为文书类型，文书类型细分可以分成不同语言)。有些Script仅支持一种文字类型，有些可以支持多种，例如 Latin Script 支持 supportsEnglish,French,German,Italian,Vietnamese,Latin 等等，具体可见wikipedia，

http://en.wikipedia.org/wiki/Scripts_in_Unicode

UnicodeBlock 与 UnicodeScript 关系：

所以UnicodeScript 是从语言书写规则层次对Unicode字符的分类，这是用使用角度划分，而UnicodeBlock是从硬的编码角度划分。

1. UnicodeBlock是简单的数值范围 (其中可能有些Block中会有一些尚未分配字符的“空号”)。

2. 在一个UnicodeScript中的字符可能分散在多个UnicodeBlock中；

3. 一个UnicodeBlock中的字符可能会被划进多个UnicodeScript中。

另外需要注意的是UnicodeScript实现是在Java 7中新引入的。

具体在编写程序中，可以游2种办法，一是使用 UnicodeBlock，请见代码：

  
  
   
   //
   
   使用UnicodeBlock方法判断
   
   

   
       
   
   public
   
    boolean isChineseByBlock(
   
   char
   
    c) {
        Character.UnicodeBlock ub 
   
   =
   
    Character.UnicodeBlock.of(c);
        
   
   if
   
    (ub 
   
   ==
   
    Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            
   
   return
   
    
   
   true
   
   ;
        } 
   
   else
   
    {
            
   
   return
   
    
   
   false
   
   ;
        }
    }

或者如果使用JDK1.7，那么UnicodeScript方法会更方便，因为UnicodeScript.HAN 包括了上面所列的5个UnicodeBlock：

  
  
   
   //
   
   使用UnicodeScript方法判断
   
   

   
       
   
   public
   
    boolean isChineseByScript(
   
   char
   
    c) {
        Character.UnicodeScript sc 
   
   =
   
    Character.UnicodeScript.of(c);
        
   
   if
   
    (sc 
   
   ==
   
    Character.UnicodeScript.HAN) {
            
   
   return
   
    
   
   true
   
   ;
        }
        
   
   return
   
    
   
   false
   
   ;
    }

类似的，扩展开去还可以判别中文标点符号。

因为中文的标点符号主要存在于以下5个UnicodeBlock中，

U2000-General Punctuation (百分号，千分号，单引号，双引号等)

U3000-CJK Symbols and Punctuation ( 顿号，句号，书名号，〸，〹，〺等；PS: 后面三个字符你知道什么意思吗？ : ) )

UFF00-Halfwidth and Fullwidth Forms ( 大于，小于，等于，括号，感叹号，加，减，冒号，分号等等)

UFE30-CJK Compatibility Forms (主要是给竖写方式使用的括号，以及间断线﹉，波浪线﹌等)

UFE10-Vertical Forms (主要是一些竖着写的标点符号，    等等)

  
  
   
   //
   
    根据UnicodeBlock方法判断中文标点符号
   
   

   
       
   
   public
   
    boolean isChinesePunctuation(
   
   char
   
    c) {
        Character.UnicodeBlock ub 
   
   =
   
    Character.UnicodeBlock.of(c);
        
   
   if
   
    (ub 
   
   ==
   
    Character.UnicodeBlock.GENERAL_PUNCTUATION
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                
   
   ||
   
    ub 
   
   ==
   
    Character.UnicodeBlock.VERTICAL_FORMS) {
            
   
   return
   
    
   
   true
   
   ;
        } 
   
   else
   
    {
            
   
   return
   
    
   
   false
   
   ;
        }
    }

预备处理掉英文符号和中文符号：

  
  
   
   public
   
    
   
   static
   
    String pre(String text){
    StringBuilder sb 
   
   =
   
    
   
   new
   
    StringBuilder();
    
   
   for
   
    (
   
   int
   
    i 
   
   =
   
    
   
   0
   
   ; i 
   
   <
   
    text.length(); i
   
   ++
   
   ) {
        
   
   char
   
    ch 
   
   =
   
    text.charAt(i);
        
   
   if
   
    ((ch
   
   <
   
   33
   
    
   
   ||
   
    ch
   
   >
   
   47
   
   ) 
   
   ||
   
    
   
   !
   
   isChinesePunctuation(ch))
            sb.append(ch);
    }
    
   
   return
   
    sb.toString();
}

测试代码：

  
  
   
       
   
   public
   
    
   
   static
   
    
   
   void
   
    main(String[] args) {
        CharClassifier classifier 
   
   =
   
    
   
   new
   
    CharClassifier();
        String[] strings 
   
   =
   
    
   
   new
   
    String[]{
   
   "
   
   Hello
   
   "
   
   , 
   
   "
   
   你好
   
   "
   
   , 
   
   "
   
   ???
   
   "
   
   , 
   
   "
   
   にほんご
   
   "
   
   , 
   
   "
   
   ???
   
   "
   
   ,
   
   "
   
   ,.?!@#$%^&()
   
   "
   
   , 
   
   "
   
   ，。？！＠＃￥％……＆（）
   
   "
   
   };

        
   
   for
   
    (
   
   int
   
    i 
   
   =
   
    
   
   0
   
   ; i 
   
   <
   
    strings.length; i
   
   ++
   
   ) {
            String str 
   
   =
   
    strings[i];
            System.
   
   out
   
   .println(
   
   "
   
   原字符串为：
   
   "
   
    
   
   +
   
    str);
            
   
   char
   
   [] chars 
   
   =
   
    str.toCharArray();

            
   
   if
   
    (i 
   
   <
   
    
   
   5
   
   ) {
                System.
   
   out
   
   .println(
   
   "
   
   使用0x4E00-0x9FCC范围判断字符是否为汉字：
   
   "
   
   );
                
   
   for
   
    (
   
   char
   
    aChar : chars) {
                    System.
   
   out
   
   .println(aChar 
   
   +
   
    
   
   "
   
   :
   
   "
   
    
   
   +
   
    (classifier.isChineseByRange(String.valueOf(aChar)) 
   
   ?
   
    
   
   "
   
   YES
   
   "
   
    : 
   
   "
   
   NO
   
   "
   
   ));
                }

                System.
   
   out
   
   .println(
   
   "
   
   使用UnicodeBlock方法判断字符是否为汉字：
   
   "
   
   );
                
   
   for
   
    (
   
   char
   
    aChar : chars) {
                    System.
   
   out
   
   .println(aChar 
   
   +
   
    
   
   "
   
   :
   
   "
   
    
   
   +
   
    (classifier.isChineseByBlock(aChar) 
   
   ?
   
    
   
   "
   
   YES
   
   "
   
    : 
   
   "
   
   NO
   
   "
   
   ));
                }

                System.
   
   out
   
   .println(
   
   "
   
   使用UnicodeScript方法判断字符是否为汉字：
   
   "
   
   );
                
   
   for
   
    (
   
   char
   
    aChar : chars) {
                    System.
   
   out
   
   .println(aChar 
   
   +
   
    
   
   "
   
   :
   
   "
   
    
   
   +
   
    (classifier.isChineseByScript(aChar) 
   
   ?
   
    
   
   "
   
   YES
   
   "
   
    : 
   
   "
   
   NO
   
   "
   
   ));
                }
            } 
   
   else
   
    {
                System.
   
   out
   
   .println(
   
   "
   
   判断是否为中文符号：
   
   "
   
   );
                
   
   for
   
    (
   
   char
   
    aChar : chars) {
                    System.
   
   out
   
   .println(aChar 
   
   +
   
    
   
   "
   
   :
   
   "
   
    
   
   +
   
    (classifier.isChinesePunctuation(aChar) 
   
   ?
   
    
   
   "
   
   YES
   
   "
   
    : 
   
   "
   
   NO
   
   "
   
   ));
                }

            }
        }
    }