很多时候丛网页中抽取的内容中都含有很多特殊的转义字符,网页中显示的要么是实体名称,要么是实体编码,如
显示 | 说明 | 实体名称 | 实体编号 |
---|---|---|---|
半方大的空白 |   |   | |
全方大的空白 |   |   | |
不断行的空白格 | |   | |
< | 小于 | < | < |
> | 大于 | > | > |
& | &符号 | & | & |
" | 双引号 | " | " |
© | 版权 | © | © |
® | 已注册商标 | ® | ® |
™ | 商标(美国) | ™ | ™ |
× | 乘号 | × | × |
÷ | 除号 | ÷ | ÷ |
这里有前人写好的,将实体编码转化为可显示字符的代码:Java的HTML的URL字符编码转换为Java字符串的函数 | 中文Flex例子。原理是根据实体编码中的数字,得到对应的字符。但上述方法不支持将实体名称转化为可显示字符,如能将"""转化为双引号,却不能识别"""。这次没有固定的规律,只能自己作映射了。比较折中的做法是转化如下几个常见的:
> | > |
" | " |
  | |
' | ‘ |
/**
* Convert HTML character enitities(Unicode) to part of a Java String
*/
import java.util.regex.*;
public class UnicodeCeToJavaString {
static final String mbs = "&#(\\d+);"; // like "ロ"
public static String EncodeCesToChars(String paramStr) {
paramStr = paramStr.replace("&","&")
.replace("<","<")
.replace(">",">")
.replace(""","\"")
.replace(" "," ")
.replace("'","'");
String mbChar;
StringBuffer sb = new StringBuffer();
Pattern pat = Pattern.compile(mbs);
Matcher mat = pat.matcher(paramStr);
while (mat.find()) {
mbChar = getMbCharStr(mat.group(1)); // pass the digit part
mat.appendReplacement(sb, mbChar);
}
mat.appendTail(sb);
return new String(sb);
}
/* worker method */
static String getMbCharStr(String digits) { // handle "12525" part which is
// a
char[] cha = new char[1]; // Unicode value stringnized
try {
int val = Integer.parseInt(digits);
char ch = (char) val;
cha[0] = ch;
} catch (Exception e) {
System.err.println("Error from getMbCharStr:");
e.printStackTrace(System.err);
}
return new String(cha); // easy!, because Java uses Unicode
}
public static void main(String[] args) {
System.out.println(UnicodeCeToJavaString.EncodeCesToChars("George's War in North America"));
}
}
比较全的编码表参见:常用HTML转义字符,html转义符,JavaScript转义符,html转义字符表,HTML语言特殊字符对照表(ISO Latin-1字符集) 。