什么是令牌化？

令牌化是指在分隔符的基础上将一个字符串分割为若干个子字符串。

例如，分隔符；分割字符串ac;bd;def;e为四个子字符串ac，bd，def和e。

分隔符自身也可以是一个常见正则表达式。

String.split(regex)函数将regex作为参数