学习正则表达式 - 匹配 Unicode 和其他字符

目录

一、匹配 Unicode 字符

1. 匹配 emoji 符号

(1)确定 emoji 符号的 Unicode 范围

(2)emoji 符号的存储

(3)正则表达式匹配

2. 匹配中文

(1)确定中文的 Unicode 范围

(2)正则表达式匹配

3. 中文转拼音

(1)创建自定义函数

(2)测试

(3)regexp_replace 中执行函数

二、用八进制数匹配字符

三、匹配 Unicode 字符属性

1. Unicode Property

(1)匹配所有标点

(2)匹配所有空白符

(3)匹配所有非标点字符

(4)单词首字母大写其他小写

(5)受限的转换

2. Unicode Block

(1)匹配CJK(中文、日文、韩文)字符

(2)匹配CJK(中文、日文、韩文)标点

3. Unicode Script

四、匹配控制字符


        有时我们需要匹配 ASCII 范围之外的字符。现在已经有了可以表示超过10万个字符的Unicode 标准(http://www.unicode.org)。然而,Unicode 也没有完全舍弃 ASCII,它将 ASCII 加入了它的基本拉丁(Basic Latin)码表中(参见http://www.unicode.org/charts/PDF/U0000.pdf)。第一个示例文本是法国哲学家伏尔泰(1694—1778)的一段话。Qu'est-ce que la tolérance? c'est l'apanage de l'humanité. Nous sommes tous pétris de faiblesses et d'erreurs; pardonnons-nous réciproquement nos sottises, c'est la première loi de la nature.

一、匹配 Unicode 字符

        在 https://www.dute.org/regex 中用正则表达式 \u00e9 匹配文本的结果如下图所示。

        \u 之后紧跟十六进制值 00e9(这里不区分大小写,即00E9也可以)。00e9对应十进制值233,在 ASCII 范围(0~127)之外。注意在图中字母 é(小写e加上一个重音符)被标亮了。这是因为在 Unicode 中 é 就是代码点 U+00E9,所以就被 \u00e9 匹配。

        在MySQL中匹配的结果如下:

mysql> set @s:='Qu\'est-ce que la tolérance? c\'est l''apanage de l\'humanité. Nous sommes tous pétris de faiblesses et d\'erreurs; pardonnons-nous réciproquement nos sottises, c\'est la première loi de la nature.';
Query OK, 0 rows affected (0.00 sec)

mysql> select regexp_replace(@s,'([^\\u00e9])','');
+--------------------------------------+
| regexp_replace(@s,'([^\\u00e9])','') |
+--------------------------------------+
| éééé                                 |
+--------------------------------------+
1 row in set (0.00 sec)

        下面是一段日本诗人松尾芭蕉(Matsuo Basho,他恰巧是在伏尔泰出生的前一周去世的)的俳句。

古池
蛙飛び込む
水の音
        —芭蕉 (1644-1694)

        用正则表达式 \u6c60 匹配,这是“池”字所对应的日文字符的代码点。该字会被标亮,如下图所示。

        在MySQL中可以查询任意Unicode字符的代码点。

mysql> select hex(convert('é' using ucs2)),hex(convert('池' using ucs2));
+-------------------------------+--------------------------------+
| hex(convert('é' using ucs2))  | hex(convert('池' using ucs2))  |
+-------------------------------+--------------------------------+
| 00E9                          | 6C60                           |
+-------------------------------+--------------------------------+
1 row in set (0.00 sec)

        UCS2(Universal Multiple-Octet Coded Character Set)是一种使用两个字节(16位)表示 Unicode 字符集的编码方式,它能够表示 Unicode 字符集中的所有字符。

        也可以从 Unicode 代码点反查字符:

mysql> select convert(unhex('00E9') using ucs2), convert(unhex('6C60') using ucs2);
+-----------------------------------+-----------------------------------+
| convert(unhex('00E9') using ucs2) | convert(unhex('6C60') using ucs2) |
+-----------------------------------+-----------------------------------+
| é                                 | 池                                |
+-----------------------------------+-----------------------------------+
1 row in set (0.00 sec)

1. 匹配 emoji 符号

        需求是在 MySQL 表中查询出所有包含 emoji 符号的数据。

(1)确定 emoji 符号的 Unicode 范围

        首先要做的是确定 emoji 符号的 Unicode 范围。https://unicode.org/emoji/charts/full-emoji-list.html 页面中的 code 列给出了最新版本的所有 emoji 符号的 Unicode 编码。

(2)emoji 符号的存储

        emoji 符号以 UTF-16 方式实现储存。以 Unicode 1F43B 为例,存储的代码点为\ud83d\udc3b。计算过程如下:

  1. 将0x1F43B去掉高位得到 0xf43b
  2. 转换成二进制是 0000 1111 0100 0011 1011
  3. 根据前十位和后十位,分割成上十位:0000 1111 01 = 0x3d    下十位:00 0011 1011 = 0x3b
  4. 高位加上 0xd800 得到 0xd83d
  5. 低位加上0xdc00得到0xdc3b

        这样就得到了高低位。MySQL 实现如下:

mysql> set @c:='f43b';
Query OK, 0 rows affected (0.00 sec)

mysql> select conv(conv('800',16,10) + conv(h,16,10),10,16) h,
    ->        conv(conv('c00',16,10) + conv(l,16,10),10,16) l
    ->   from 
    -> (
    -> select conv(substr(concat('0000',conv(@c,16,2)),1,10),2,16) h,
    ->        conv(substr(concat('0000',conv(@c,16,2)),11,20),2,16) l) t;
+------+------+
| h    | l    |
+------+------+
| 83D  | C3B  |
+------+------+
1 row in set (0.00 sec)

        emoji在字符串里面的存储,参考 https://zhuanlan.zhihu.com/p/105805517

(3)正则表达式匹配

        通过对 Unicode 范围的计算,emoji 对应的编码区间用正则表达表示为:

\u00a9|\u00ae|[\u2000-\u3300]|[\ud83c-\ud83e][\ud000-\udfff]

        因此可以通过类似下面的查询找出所有包含emoji符号的数据:

select userid,nickname 
  from space.space_user 
 where regexp_like(nickname,'(\\u00a9|\\u00ae|[\\u2000-\\u3300]|[\\ud83c-\\ud83e][\\ud000-\\udfff])') 
 limit 10;

        注意这个正则表达式不是严格匹配,其区间范围是 emoji 符号编码范围的超集,也就是说除覆盖现有全部 emoji 符号还存在空的代码点。该正则表达式可以满足目前 emoji 符号不断扩充的需求。

2. 匹配中文

        需求是在MySQL表中查询出所有包含中文(包括标点符号)的数据。

(1)确定中文的 Unicode 范围

        与 emoji 类似,对于中文匹配也要先确定其 Unicode 范围。参见 http://www.hlc8.com/a.php?id=46c988af5d6c11e180bd752c7be30365。在绝大多数应用场合中,可以仅下面的集合作为 CJK 判断的依据。

  • 基本汉字20902字:4E00-9FA5
  • 基本汉字补充90字:9FA6-9FFF
  • 扩展A    6592字:3400-4DBF
  • 全角ASCII、中英文标点:FF00-FFEF
  • CJK部首补充:2E80-2EFF
  • CJK标点符号:3000-303F
  • CJK笔划:31C0-31EF

(2)正则表达式匹配

        中文对应的编码区间用正则表达表示为:

[\u4E00-\u9FA5]|[\u9FA6-\u9FFF]|[\u3400-\u4DBF]|[\uFF00-\uFFEF]|[\u2E80-\u2EFF]|[\u3000-\u303F]|[\u31C0-\u31EF]

        因此可以通过类似下面的查询找出所有包含中文的数据:

select userid,nickname 
  from space.space_user 
 where regexp_like(nickname,'([\\u4E00-\\u9FA5]|[\\u9FA6-\\u9FFF]|[\\u3400-\\u4DBF]|[\\uFF00-\\uFFEF]|[\\u2E80-\\u2EFF]|[\\u3000-\\u303F]|[\\u31C0-\\u31EF])') 
 limit 10;

        注意这个正则表达式不是严格匹配,其区间范围是中文编码范围的超集,也存在空代码点。正则表达式是从左向右进行匹配的,大多数情况下,最左边两万汉字已可以完成匹配比较。

3. 中文转拼音

        这里的实现与正则表达式无关。在后面会说明为什么加此一节。

        需求是将字符串中的汉字转为拼音。创建一个汉字转拼音的函数,在其中判断每个字符是否为中文,如果是则查询拼音表取得对应的拼音,否则原样返回。网上的大部分 MySQL 转拼音函数都是通过创建一个拼音对照表,然后在自定义函数中查询该表实现的。以下对这种实现做了修改,具有以下特点:

  • 不需要拼音表。
  • 与数据库字符集无关。
  • 根据参数可分别返回全拼小写、全拼大写、全拼首字母大写。
  • 不考虑多音字拼音上下文语义的正确性。
  • 通过嵌套使用 MySQL 的 elt、interval 函数确定一个汉字对应的唯一拼音。

(1)创建自定义函数

drop function if exists to_pinyin;
delimiter //
create function to_pinyin(name varchar(255) charset gbk, flag int) returns varchar(255) charset gbk
begin
    declare mycode int;
    declare tmp_lcode varchar(2) charset gbk;
    declare lcode int;
    declare tmp_rcode varchar(2) charset gbk;
    declare rcode int;
    declare l_pin_yin_ varchar(6);

    declare mypy varchar(255) charset gbk default '';
    declare lp int;

    set mycode = 0;
    set lp = 1;

    set name = hex(name);

    while lp < length(name) do

        set tmp_lcode = substring(name, lp, 2);
        set lcode = cast(ascii(unhex(tmp_lcode)) as unsigned); 
        set tmp_rcode = substring(name, lp + 2, 2);
        set rcode = cast(ascii(unhex(tmp_rcode)) as unsigned); 
        if lcode > 128 then
            set mycode =abs(65536 - lcode * 256 - rcode);

            -- 取对应的拼音
            set l_pin_yin_ = elt(interval(0-mycode,
                      -20319,-20317,-20304,-20295,-20292,-20283,-20265,-20257,-20242,-20230,-20051,-20036,
                      -20032,-20026,-20002,-19990,-19986,-19982,-19976,-19805,-19784,-19775,-19774,-19763,
                      -19756,-19751,-19746,-19741,-19739,-19728,-19725,-19715,-19540,-19531,-19525,-19515,
                      -19500,-19484,-19479,-19467,-19289,-19288,-19281,-19275,-19270,-19263,-19261,-19249,
                      -19243,-19242,-19238,-19235,-19227,-19224,-19218,-19212,-19038,-19023,-19018,-19006,
                      -19003,-18996,-18977,-18961,-18952,-18783,-18774,-18773,-18763,-18756,-18741,-18735,
                      -18731,-18722,-18710,-18697,-18696,-18526,-18518,-18501,-18490,-18478,-18463,-18448,
                      -18447,-18446,-18239,-18237,-18231,-18220,-18211,-18201,-18184,-18183,-18181,-18012,
                      -17997,-17988,-17970,-17964,-17961,-17950,-17947,-17931,-17928,-17922,-17759,-17752,
                      -17733,-17730,-17721,-17703,-17701,-17697,-17692,-17683,-17676,-17496,-17487,-17482,
                      -17468,-17454,-17433,-17427,-17417,-17202,-17185,-16983,-16970,-16942,-16915,-16733,
                      -16708,-16706,-16689,-16664,-16657,-16647,-16474,-16470,-16465,-16459,-16452,-16448,
                      -16433,-16429,-16427,-16423,-16419,-16412,-16407,-16403,-16401,-16393,-16220,-16216,
                      -16212,-16205,-16202,-16187,-16180,-16171,-16169,-16158,-16155,-15959,-15958,-15944,
                      -15933,-15920,-15915,-15903,-15889,-15878,-15707,-15701,-15681,-15667,-15661,-15659,
                      -15652,-15640,-15631,-15625,-15454,-15448,-15436,-15435,-15419,-15416,-15408,-15394,
                      -15385,-15377,-15375,-15369,-15363,-15362,-15183,-15180,-15165,-15158,-15153,-15150,
                      -15149,-15144,-15143,-15141,-15140,-15139,-15128,-15121,-15119,-15117,-15110,-15109,
                      -14941,-14937,-14933,-14930,-14929,-14928,-14926,-14922,-14921,-14914,-14908,-14902,
                      -14894,-14889,-14882,-14873,-14871,-14857,-14678,-14674,-14670,-14668,-14663,-14654,
                      -14645,-14630,-14594,-14429,-14407,-14399,-14384,-14379,-14368,-14355,-14353,-14345,
                      -14170,-14159,-14151,-14149,-14145,-14140,-14137,-14135,-14125,-14123,-14122,-14112,
                      -14109,-14099,-14097,-14094,-14092,-14090,-14087,-14083,-13917,-13914,-13910,-13907,
                      -13906,-13905,-13896,-13894,-13878,-13870,-13859,-13847,-13831,-13658,-13611,-13601,
                      -13406,-13404,-13400,-13398,-13395,-13391,-13387,-13383,-13367,-13359,-13356,-13343,
                      -13340,-13329,-13326,-13318,-13147,-13138,-13120,-13107,-13096,-13095,-13091,-13076,
                      -13068,-13063,-13060,-12888,-12875,-12871,-12860,-12858,-12852,-12849,-12838,-12831,
                      -12829,-12812,-12802,-12607,-12597,-12594,-12585,-12556,-12359,-12346,-12320,-12300,
                      -12120,-12099,-12089,-12074,-12067,-12058,-12039,-11867,-11861,-11847,-11831,-11798,
                      -11781,-11604,-11589,-11536,-11358,-11340,-11339,-11324,-11303,-11097,-11077,-11067,
                      -11055,-11052,-11045,-11041,-11038,-11024,-11020,-11019,-11018,-11014,-10838,-10832,
                      -10815,-10800,-10790,-10780,-10764,-10587,-10544,-10533,-10519,-10331,-10329,-10328,
                      -10322,-10315,-10309,-10307,-10296,-10281,-10274,-10270,-10262,-10260,-10256,-10254),
                      'a','ai','an','ang','ao','ba','bai','ban','bang','bao','bei','ben',
                      'beng','bi','bian','biao','bie','bin','bing','bo','bu','ca','cai','can',
                      'cang','cao','ce','ceng','cha','chai','chan','chang','chao','che','chen','cheng',
                      'chi','chong','chou','chu','chuai','chuan','chuang','chui','chun','chuo','ci','cong',
                      'cou','cu','cuan','cui','cun','cuo','da','dai','dan','dang','dao','de',
                      'deng','di','dian','diao','die','ding','diu','dong','dou','du','duan','dui',
                      'dun','duo','e','en','er','fa','fan','fang','fei','fen','feng','fo',
                      'fou','fu','ga','gai','gan','gang','gao','ge','gei','gen','geng','gong',
                      'gou','gu','gua','guai','guan','guang','gui','gun','guo','ha','hai','han',
                      'hang','hao','he','hei','hen','heng','hong','hou','hu','hua','huai','huan',
                      'huang','hui','hun','huo','ji','jia','jian','jiang','jiao','jie','jin','jing',
                      'jiong','jiu','ju','juan','jue','jun','ka','kai','kan','kang','kao','ke',
                      'ken','keng','kong','kou','ku','kua','kuai','kuan','kuang','kui','kun','kuo',
                      'la','lai','lan','lang','lao','le','lei','leng','li','lia','lian','liang',
                      'liao','lie','lin','ling','liu','long','lou','lu','lv','luan','lue','lun',
                      'luo','ma','mai','man','mang','mao','me','mei','men','meng','mi','mian',
                      'miao','mie','min','ming','miu','mo','mou','mu','na','nai','nan','nang',
                      'nao','ne','nei','nen','neng','ni','nian','niang','niao','nie','nin','ning',
                      'niu','nong','nu','nv','nuan','nue','nuo','o','ou','pa','pai','pan',
                      'pang','pao','pei','pen','peng','pi','pian','piao','pie','pin','ping','po',
                      'pu','qi','qia','qian','qiang','qiao','qie','qin','qing','qiong','qiu','qu',
                      'quan','que','qun','ran','rang','rao','re','ren','reng','ri','rong','rou',
                      'ru','ruan','rui','run','ruo','sa','sai','san','sang','sao','se','sen',
                      'seng','sha','shai','shan','shang','shao','she','shen','sheng','shi','shou','shu',
                      'shua','shuai','shuan','shuang','shui','shun','shuo','si','song','sou','su','suan',
                      'sui','sun','suo','ta','tai','tan','tang','tao','te','teng','ti','tian',
                      'tiao','tie','ting','tong','tou','tu','tuan','tui','tun','tuo','wa','wai',
                      'wan','wang','wei','wen','weng','wo','wu','xi','xia','xian','xiang','xiao',
                      'xie','xin','xing','xiong','xiu','xu','xuan','xue','xun','ya','yan','yang',
                      'yao','ye','yi','yin','ying','yo','yong','you','yu','yuan','yue','yun',
                      'za','zai','zan','zang','zao','ze','zei','zen','zeng','zha','zhai','zhan',
                      'zhang','zhao','zhe','zhen','zheng','zhi','zhong','zhou','zhu','zhua','zhuai','zhuan',
                      'zhuang','zhui','zhun','zhuo','zi','zong','zou','zu','zuan','zui','zun','zuo');

            if l_pin_yin_ is null then     -- 非汉字取原字符
               set mypy = concat(mypy,convert(unhex(substring(name, lp, 4)) using gbk));
            else                           -- 汉字取拼音
               set l_pin_yin_ = case flag 
                   when 1 then lower(l_pin_yin_)
                   when 2 then upper(l_pin_yin_)
                   when 3 then concat(upper(substr(l_pin_yin_,1,1)),lower(substr(l_pin_yin_,2)))  
                   else lower(l_pin_yin_)  
               end;
               set mypy = concat(mypy,l_pin_yin_);
            end if;
            set lp = lp + 4;
        else                               -- ASCII字符
            set mypy = concat(mypy,char(cast(ascii(unhex(substring(name, lp, 2))) as unsigned)));
            set lp = lp + 2;
        end if;
    end while;
    return mypy;
end;
//
delimiter ;

(2)测试

mysql> set @s:='123 中文 ……中a ^华b人 c $民 d共[和]国 Good!';
Query OK, 0 rows affected (0.00 sec)

mysql> select to_pinyin(@s,3);
+----------------------------------------------------------------+
| to_pinyin(@s,3)                                                |
+----------------------------------------------------------------+
| 123 ZhongWen ……Zhonga ^HuabRen c $Min dGong[He]Guo Good!      |
+----------------------------------------------------------------+
1 row in set (0.00 sec)

(3)regexp_replace 中执行函数

        列举这个函数的原因是,我原本打算用 regexp_replace 函数,在第三个参数中引用捕获分组的方式一次性完成替换逻辑,但未能如愿,因为函数是在正则表达式匹配之前执行(后面介绍 Unicode Property 时会看到有例外)。如下所示,upper 函数先于正则表达式执行,将参数中的常量字符变成大写,然后捕获组 $1 才会原样输出。

mysql> select regexp_replace('abc','(abc)',upper('$1z d e f'));
+--------------------------------------------------+
| regexp_replace('abc','(abc)',upper('$1z d e f')) |
+--------------------------------------------------+
| abcZ D E F                                       |
+--------------------------------------------------+
1 row in set (0.00 sec)

二、用八进制数匹配字符

        还可以使用八进制数来匹配字符,八进制数以 8 为基数,使用数字 0到7 计数。在正则表达式处理器中,就是要在反斜线(\)后加三位数字。比如,以下八进制数:\351,等同于:\u00e9。

mysql> set @s:='Qu\'est-ce que la tolérance? c\'est l''apanage de l\'humanité. Nous sommes tous pétris de faiblesses et d\'erreurs; pardonnons-nous réciproquement nos sottises, c\'est la première loi de la nature.';
Query OK, 0 rows affected (0.00 sec)

mysql> select regexp_replace(@s,'([^\\0351])',''),regexp_replace(@s,'([^\\u00e9])','');
+-------------------------------------+--------------------------------------+
| regexp_replace(@s,'([^\\0351])','') | regexp_replace(@s,'([^\\u00e9])','') |
+-------------------------------------+--------------------------------------+
| éééé                                | éééé                                 |
+-------------------------------------+--------------------------------------+
1 row in set (0.00 sec)

        在 MySQL 中,八进制的表示需要在数字前添加 0。

三、匹配 Unicode 字符属性

        参考:https://www.cnblogs.com/gaara0305/p/10118664.html

        每一个 Unicode 字符,除了有 Code Point (代码点)与之对应外,还具体其他属性。在正则表达式中常用到三种 Unicode 属性:Unicode Property、Unicode Block、Unicode Script,分别对应字符功能、所属代码区段、书写系统;它们的表现形式都类似 \p{property}。

1. Unicode Property

        Unicode Property 的记法类似 \p{L}、\p{P}。它按照字符的功能分类 Unicode 字符,每个 Unicode 字符只能属于一个 Unicode Property。可以这样理解 Unicode Property:它并不关心字符所属的语言,只关心字符的功能,比如 \p{Z} 表示任意的空白字符或不可见的分隔符;\p{P} 表示任意标点字符,等等。遇到中英文混排、全角、半角字符同时出现的情况,看可以用 \p{Z} 匹配所有的空白字符(而不用关心空格到底是全角空格还是半角空格),用 \p{P} 匹配所有的标点字符(而不用关心逗号到底是中文逗号还是英文逗号)。

        如果把 Unicode Property 理解为一个“字符组”,一定还有对应的排除型字符组,此排除型字符组的通行记法是将 \p{property} 中的小写改为大写 P,写作 \P{property}。

(1)匹配所有标点

mysql> select regexp_replace('Unicode, 字符,属性!','\\p{P}','');
+-----------------------------------------------------------+
| regexp_replace('Unicode, 字符,属性!','\\p{P}','')       |
+-----------------------------------------------------------+
| Unicode 字符属性                                          |
+-----------------------------------------------------------+
1 row in set (0.00 sec)

(2)匹配所有空白符

mysql> select regexp_replace('Unicode, 字符,属性!','\\p{Z}','');
+-----------------------------------------------------------+
| regexp_replace('Unicode, 字符,属性!','\\p{Z}','')       |
+-----------------------------------------------------------+
| Unicode,字符,属性!                                      |
+-----------------------------------------------------------+
1 row in set (0.00 sec)

(3)匹配所有非标点字符

mysql> -- 不匹配空白符
mysql> select regexp_replace('Unicode, 字符,属性!','\\p{L}','');
+-----------------------------------------------------------+
| regexp_replace('Unicode, 字符,属性!','\\p{L}','')       |
+-----------------------------------------------------------+
| , ,!                                                    |
+-----------------------------------------------------------+
1 row in set (0.01 sec)

mysql> -- 匹配空白符
mysql> select regexp_replace('Unicode, 字符,属性!','\\P{P}','');
+-----------------------------------------------------------+
| regexp_replace('Unicode, 字符,属性!','\\P{P}','')       |
+-----------------------------------------------------------+
| ,,!                                                     |
+-----------------------------------------------------------+
1 row in set (0.01 sec)

(4)单词首字母大写其他小写

-- 创建自定义函数
drop function if exists initcap;
delimiter //
create function initcap(x text) returns text charset utf8mb4
reads sql data
deterministic
begin
    set @str='';
    set @r='(?<=^[\\p{Z}\\p{P}\\Q.^$*+?|(){}[]\-\\E]{0,10})(\\w+)';
    set @ret='';
    set @loc=0;
    set @len=0;
 
    while x regexp @r do
          -- 单词
          set @str=regexp_substr(x,@r);
          -- 单词首位置
          set @loc=locate(@str, x);
          -- 单词长度,取长度前先进行字符集转换是为了适配 8.0.17 版本前的 bug
          set @len=length(convert(@str using utf8mb4));
          -- 返回字符串
          set @ret=concat(@ret,substring(x,1,@loc-1),upper(substring(@str,1,1)),lower(substring(@str,2)));
          -- 剩余字符串
          select substring(x, @loc+@len) into x;
    end while;
 
    return concat(@ret,substring(x,1));
end;
//
delimiter ;

        测试:

mysql> set @s:='  this ,\&。!     $fskldj   [ok]IS    ^tEST string... ...';
Query OK, 0 rows affected (0.00 sec)

mysql> select initcap(@s);
+-------------------------------------------------------------+
| initcap(@s)                                                 |
+-------------------------------------------------------------+
|   This ,&。!     $fskldj   [ok]IS    ^tEST string... ...   |
+-------------------------------------------------------------+
1 row in set (0.00 sec)

        自定义函数中用的正则表达式为:

(?<=^[\\p{Z}\\p{P}\\Q.^$*+?|(){}[]\-\\E]{0,10})(\\w+)

        ?<= 是一个零宽断言,表示向后环视(look-behind)。第一个捕获组匹配 0-10 个以任意语言的空白符、标点或特殊字符开始的位置。第二个捕获组匹配一个英文单词。整个表达式匹配去掉前导符的第一个出现的英语单词。MySQL 的正则表达式不支持 look-behind *:

mysql> set @r:='(?<=^[\\s"\']*)(\\w+)';
Query OK, 0 rows affected (0.00 sec)

mysql> select @r;
+--------------------+
| @r                 |
+--------------------+
| (?<=^[\s"']*)(\w+) |
+--------------------+
1 row in set (0.00 sec)

mysql> select 'a' regexp @r;
ERROR 3695 (HY000): The look-behind assertion exceeds the limit in regular expression.

        因此这里这能定义一个足够大的前导字符的范围。虽然可以用 \w+ 一次性匹配出所有英语单词,但是为了处理大小写,我们需要在循环用 regexp_substr 依次取单词,并将单词首字母转大写,单词其他字母转小写,非单词字符原样返回。这样如果只用 \w+ 进行匹配,每次循环都会做剩余备份的匹配,而这些匹配显然都是重复工作,性能不高。按照现在的实现方案,每次只要匹配到第一个单词即可终止。

(5)受限的转换

        需求是这样的,将单词首字母转大写,其他字母转小写,但以点号 . 结尾的单词不做转换。先看实现:

mysql> select regexp_replace(initcap(regexp_replace('ABC&EFG dd.dd.', '(\\w+\\.)', concat(char(0),'a$1'))), concat(char(0),'.'),'') a;
+----------------+
| a              |
+----------------+
| Abc&Efg dd.dd. |
+----------------+
1 row in set (0.00 sec)

        内层的 regexp_replace('ABC&EFG dd.dd.', '(\\w+\\.)', concat(char(0),'a$1')) 将 (\w+\.) 匹配点号结尾的单词拼接上一个标识字符串,这里是 char(0)加上字符 a 。前面说过 regexp_replace 的第三个参数中的函数会在正则表达式匹配前执行,但 concat 函数是个例外,它会拼接到匹配的字符串上,如:

mysql> select initcap(regexp_replace('ABC&EFG d.d.', '(\\w+\\.)', concat('Z','a$1'))) a;
+------------------+
| a                |
+------------------+
| Abc&Efg Zad.Zad. |
+------------------+
1 row in set (0.00 sec)

        initcap(regexp_replace('ABC&EFG dd.dd.', '(\\w+\\.)', concat(char(0),'a$1'))) 将单词首字母大写,包括以点号 . 结尾的单词:

mysql> select initcap(regexp_replace('ABC&EFG dd.dd.', '(\\w+\\.)', concat(char(0),'a$1'))) ;
+-------------------------------------------------------------------------------+
| initcap(regexp_replace('ABC&EFG dd.dd.', '(\\w+\\.)', concat(char(0),'a$1'))) |
+-------------------------------------------------------------------------------+
| Abc&Efg  Add. Add.                                                            |
+-------------------------------------------------------------------------------+
1 row in set (0.00 sec)

        最外层的 regexp_replace 将匹配 char(0) 加上任意单一字符的标识字符串替换掉,剩下的就是符合要求的结果。

2. Unicode Block

        不同于 Unicoe Property,Unicode Block 按照编码区间划分 Unicode 字符,各个区间彼此联系但互不相交,所以每个 Unicode 编码中的每个字符都有唯一归属的 Unicode Block。

        在 Unicode 编码表中,同一种语言的字符通常落在同一区间的,所以 Unicode Block 也可以粗略表示某类语言的字符,比如 \p{InHebrew} 表示希伯莱语字符,\p{InCJK_Unified_Ideographs} 表示兼容 CJK(中文、日文、韩文)统一表意字符。Unicode Block 的名字都有 In(Java风格)或者 Is(.NET风格)前缀,所以它对应的还是“落在某个区间的 Unicode 字符”。

(1)匹配CJK(中文、日文、韩文)字符

mysql> select regexp_replace('Unicode, 字符,属性!','\\p{InCJK_Unified_Ideographs}','');
+----------------------------------------------------------------------------------+
| regexp_replace('Unicode, 字符,属性!','\\p{InCJK_Unified_Ideographs}','')       |
+----------------------------------------------------------------------------------+
| Unicode, ,!                                                                    |
+----------------------------------------------------------------------------------+
1 row in set (0.00 sec)

(2)匹配CJK(中文、日文、韩文)标点

        另外值得一用的是 \p{InCJK_Symbols_and_Punctuation},从命名上来看,它覆盖了中文、日文、韩文中的大部分常见标点,但事实并非如此。比如全角逗号和叹号不匹配此属性,而全角句号就匹配。不过,所有标点都在 \p{P} 这个 Unicode Property 中。

mysql> select regexp_replace('Unicode, 字符,属性!。','\\p{InCJK_Symbols_and_Punctuation}','') a, 
    ->        regexp_replace('Unicode, 字符,属性!','\\p{P}','') b\G
*************************** 1. row ***************************
a: Unicode, 字符,属性!
b: Unicode 字符属性
1 row in set (0.00 sec)

3. Unicode Script

        Unicode Script 按照字符所属的书写系统来划分 Unicode 字符,比如 \p{Greek} 表示希腊语字符,\p{Han} 表示汉语(中文字符)。它的写法类似 Unicode Block,只是名字的开头没有 Is 或者 In。可以很方便地用 \p{Han} 来匹配中文字符。

mysql> -- 匹配所有非汉语(包括空白符、标点等)字符
mysql> select regexp_replace('Unicode, 字符,属性!','\\P{Han}','');
+-------------------------------------------------------------+
| regexp_replace('Unicode, 字符,属性!','\\P{Han}','')       |
+-------------------------------------------------------------+
| 字符属性                                                    |
+-------------------------------------------------------------+
1 row in set (0.01 sec)

四、匹配控制字符

        很少会在文本中查找控制字符,但知道如何做也不是件坏事。在正则表达式中,可以像这样来指定一个控制字符:\cx ,其中 x 就是想匹配的控制字符。

-- 匹配空字符
select char(0) regexp '\\c@';
select char(0) regexp '\0';

-- 匹配报警字符
select char(7) regexp '\\cG';
select char(7) regexp '\\a';

-- 匹配转义符
select char(27) regexp '\\c[';
select char(27) regexp '\\e';

-- 匹配退格符
select char(8) regexp '\\cH';
select char(8) regexp '[\b]';

        如果没有括号,\b 会被认为是单词边界。括号改变了正则表达式处理器对 \b 的理解方式。

        下表列出了本篇中匹配字符的方法。

代码

描述

\uxxxx

Unicode(四位)

\xxx

Unicode(两位)

\x{xxxx}

Unicode(四位)

\x{xx}

Unicode(两位)

\ooo

八进制(基数为8)

\cx

控制字符

\0

空字符

\a

报警符

\e

转义符

[\b]

退格符

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值