Unicode中文和特殊字符的编码范围 及部分正则

转自:http://www.cnblogs.com/sosoft/p/3456631.html

Unicode中文和特殊字符的编码范围

 编程中有时候需要用到匹配中文的正则，一般用 [ \u4e00-\u9fa5]+ 即可搞定。不过这正则对一般的火星文鸟语就不太适用了，甚至全角的标点符号都不包含在内。例如游戏里面的玩家名，普通青年一般都是汉字，文艺青年会加几个特殊字符，2B青年火星文鸟语都会用上；这时候你就需要更强大的正则了。

        其实，游戏内大部分的玩家名都取自：中日韩统一表意文字（CJK Unified Ideographs），外加一些特殊的字符；用 [ \u2E80-\uFE4F]+基本都涵盖了 。根据Unicode5.0整理如下：

1）标准CJK文字

http://www.unicode.org/Public/UNIDATA/Unihan.html

2）全角ASCII、全角中英文标点、半宽片假名、半宽平假名、半宽韩文字母：FF00-FFEF

http://www.unicode.org/charts/PDF/UFF00.pdf

3）CJK部首补充：2E80-2EFF

http://www.unicode.org/charts/PDF/U2E80.pdf

4）CJK标点符号：3000-303F

http://www.unicode.org/charts/PDF/U3000.pdf

5）CJK笔划：31C0-31EF

http://www.unicode.org/charts/PDF/U31C0.pdf

6）康熙部首：2F00-2FDF

http://www.unicode.org/charts/PDF/U2F00.pdf

7）汉字结构描述字符：2FF0-2FFF

http://www.unicode.org/charts/PDF/U2FF0.pdf

8）注音符号：3100-312F

http://www.unicode.org/charts/PDF/U3100.pdf

9）注音符号（闽南语、客家语扩展）：31A0-31BF

http://www.unicode.org/charts/PDF/U31A0.pdf

10）日文平假名：3040-309F

http://www.unicode.org/charts/PDF/U3040.pdf

11）日文片假名：30A0-30FF

http://www.unicode.org/charts/PDF/U30A0.pdf

12）日文片假名拼音扩展：31F0-31FF

http://www.unicode.org/charts/PDF/U31F0.pdf

13）韩文拼音：AC00-D7AF

http://www.unicode.org/charts/PDF/UAC00.pdf

14）韩文字母：1100-11FF

http://www.unicode.org/charts/PDF/U1100.pdf

15）韩文兼容字母：3130-318F

http://www.unicode.org/charts/PDF/U3130.pdf

16）太玄经符号：1D300-1D35F

http://www.unicode.org/charts/PDF/U1D300.pdf

17）易经六十四卦象：4DC0-4DFF

http://www.unicode.org/charts/PDF/U4DC0.pdf

18）彝文音节：A000-A48F

http://www.unicode.org/charts/PDF/UA000.pdf

19）彝文部首：A490-A4CF

http://www.unicode.org/charts/PDF/UA490.pdf

20）盲文符号：2800-28FF

http://www.unicode.org/charts/PDF/U2800.pdf

21）CJK字母及月份：3200-32FF

http://www.unicode.org/charts/PDF/U3200.pdf

22）CJK特殊符号（日期合并）：3300-33FF

http://www.unicode.org/charts/PDF/U3300.pdf

23）装饰符号（非CJK专用）：2700-27BF

http://www.unicode.org/charts/PDF/U2700.pdf

24）杂项符号（非CJK专用）：2600-26FF

http://www.unicode.org/charts/PDF/U2600.pdf

25）中文竖排标点：FE10-FE1F

http://www.unicode.org/charts/PDF/UFE10.pdf

26）CJK兼容符号（竖排变体、下划线、顿号）：FE30-FE4F

http://www.unicode.org/charts/PDF/UFE30.pdf

http://www.cnblogs.com/sosoft/p/3456631.html

中文正则匹配,匹配中文，正则表达式

正则表达式用于字符串处理、表单验证等场合，实用高效。现将一些常用的表达式收集于此，以备不时之需。

匹配中文字符的正则表达式： [\u4e00-\u9fa5]
评注：匹配中文还真是个头疼的事，有了这个表达式就好办了
匹配双字节字符(包括汉字在内)：[^\x00-\xff]
评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）
匹配空白行的正则表达式：\n\s*\r
评注：可以用来删除空白行
匹配HTML标记的正则表达式：<(\S*?)[^>]*>.*?</>|<.*? />
评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力
匹配首尾空白字符的正则表达式：^\s*|\s*$
评注：可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式
匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
评注：表单验证时很实用
匹配网址URL的正则表达式：[a-zA-z]+://[^\s]*
评注：网上流传的版本功能很有限，上面这个基本可以满足需求
匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]$
评注：表单验证时很实用
匹配国内电话号码：\d-\d|\d-\d
评注：匹配形式如 0511-4405222 或 021-87888822
匹配腾讯QQ号：[1-9][0-9]
评注：腾讯QQ号从10000开始
匹配中国邮政编码：[1-9]\d(?!\d)
评注：中国邮政编码为6位数字
匹配身份证：\d|\d
评注：中国的身份证为15位或18位
匹配ip地址：\d+\.\d+\.\d+\.\d+
评注：提取ip地址时有用
匹配特定数字：
^[1-9]\d*$　 　 //匹配正整数
^-[1-9]\d*$ 　 //匹配负整数
^-?[1-9]\d*$　　 //匹配整数
^[1-9]\d*|0$　 //匹配非负整数（正整数 + 0）
^-[1-9]\d*|0$　　 //匹配非正整数（负整数 + 0）
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$　　 //匹配正浮点数
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$　 //匹配负浮点数
^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$　 //匹配浮点数
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$　　 //匹配非负浮点数（正浮点数 + 0）
^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$　　//匹配非正浮点数（负浮点数 + 0）
评注：处理大量数据时有用，具体应用时注意修正
匹配特定字符串：
^[A-Za-z]+$　　//匹配由26个英文字母组成的字符串
^[A-Z]+$　　//匹配由26个英文字母的大写组成的字符串
^[a-z]+$　　//匹配由26个英文字母的小写组成的字符串
^[A-Za-z0-9]+$　　//匹配由数字和26个英文字母组成的字符串
^\w+$　　//匹配由数字、26个英文字母或者下划线组成的字符串
评注：最基本也是最常用的一些表达式