匹配Unicode字符的正则表达式

原创 2006年05月24日 14:04:00
几个主要非英文语系字符范围:

2e80~33ffh:中日韩符号区。收容康熙字典部首、中日韩辅助部首、注音符号、日本假名、韩文音符,中日韩的符号、标点、带圈或带括符文数字、月份,以及日本的假名组合、单位、年号、月份、日期、时间等。

3400~4dffh:中日韩认同表意文字扩充a区,总计收容6,582个中日韩汉字。

4e00~9fffh:中日韩认同表意文字区,总计收容20,902个中日韩汉字。

a000~a4ffh:彝族文字区,收容中国南方彝族文字和字根。

ac00~d7ffh:韩文拼音组合字区,收容以韩文音符拼成的文字。

f900~faffh:中日韩兼容表意文字区,总计收容302个中日韩汉字。

fb00~fffdh:文字表现形式区,收容组合拉丁文字、希伯来文、阿拉伯文、中日韩直式标点、小符号、半角符号、全角符号等。

比如需要匹配所有中日韩非符号字符,那么正则表达式应该是^[/u3400-/u9fff]+$
理论上没错, 可是我到msn.co.ko随便复制了个韩文下来, 发现根本不对, 诡异
再到msn.co.jp复制了个'お', 也不得行..

然后把范围扩大到^[/u2e80-/u9fff]+$, 这样倒是都通过了, 这个应该就是匹配中日韩文字的正则表达式了, 包括我們臺灣省還在盲目使用的繁體中文

而关于中文的正则表达式, 应该是^[/u4E00-/u9FFF]+$, 和论坛里常被人提起的^[/u4E00-/u9FA5]+$很接近

需要注意的是论坛里说的^[/u4e00-/u9fa5]+$这是专门用于匹配简体中文的正则表达式, 实际上繁体字也在里面

[收藏]匹配Unicode字符的正则表达式

[收藏]匹配Unicode字符的正则表达式 原文:http://blog.sunmast.com/Sunmast/archive/2004/07/30/799.aspx 这里是几个主要非英文语系字符范...
  • jevylau
  • jevylau
  • 2007年04月20日 18:02
  • 592

正则表达式与unicode

本文专门谈谈我们主要讲述一下Unicode编码本身的特性,以便更好地运用正则表达式解决与Unicode相关的问题。 Unicode Code Point Unicode字符多种多样,除去ascii中...
  • John8169
  • John8169
  • 2016年09月05日 19:02
  • 1841

python用正则表达式怎么查询unicode码字符

import re data = open('a.txt') fh = open('b.txt', 'w') """Search the string begining with '【'...
  • u012554768
  • u012554768
  • 2014年05月21日 14:19
  • 907

Python对unicode文件的读写和使用正则表达式

Python对unicode文件的读写和使用正则表达式
  • LuckilyYu
  • LuckilyYu
  • 2011年02月16日 15:14
  • 10776

关于unicode汉字范围正则表达式的写法

\u2E80-\u2EFF:CJK部首补充; \u2F00-\u2FDF:康熙部首; \u3000-\u303F:CJK标点符号; \u31C0-\u31EF:CJK笔划; ...
  • archer119
  • archer119
  • 2016年08月13日 22:29
  • 1244

python的正则匹配unicode

最近用到python的正则表达式解析不同的语言,发现有不少细节,写下来留念。   python正则解析unicode的注意点。一是pattern前需要加u来escape unicode,而是源字符串也...
  • liweisnake
  • liweisnake
  • 2013年12月16日 11:56
  • 5720

正则匹配时遇到的编码问题(unicode,gbk,utf-8,中文)

啦啦啦好久没写好懒,这次先不写数据库这个小表砸~其实这个问题好久好久之前的了,现在才写也是懒= =用python写爬虫经常涉及到编码问题,本人用pycharm写代码,基本上都写这里了一.几种常用的编码...
  • ycisacat
  • ycisacat
  • 2015年10月10日 21:19
  • 3263

正则表达式替换---lamda表达式(UniCode编码)

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T...
  • ArvinStudy
  • ArvinStudy
  • 2013年02月01日 09:59
  • 822

正则表达式(一)-- 匹配单个字符

一、纯文本正则表达式 顾名思义,纯文本正则表达式由纯文本组成,比如使用正则表达式cat,则会匹配到所有包含cat的文本,正则表达式是区分大小写的,但在各个语言中正则表达式的实现也可以实现不区分大小写。...
  • BestFSQ
  • BestFSQ
  • 2017年02月19日 18:32
  • 1868

匹配Unicode字符的正则表达式

这里是几个主要非英文语系字符范围(google上找到的):2E80~33FFh:中日韩符号区。收容康熙字典部首、中日韩辅助部首、注音符号、日本假名、韩文音符,中日韩的符号、标点、带圈或带括符文数字、月...
  • zy_8002006
  • zy_8002006
  • 2006年04月18日 10:36
  • 464
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:匹配Unicode字符的正则表达式
举报原因:
原因补充:

(最多只允许输入30个字)