nutch 提高搜索精度

最新推荐文章于 2024-09-18 22:43:41 发布

彷徨的石头

最新推荐文章于 2024-09-18 22:43:41 发布

阅读量361

点赞数

分类专栏： Nutch、Solr 文章标签： windows string ant html null

Nutch、Solr 专栏收录该内容

55 篇文章 0 订阅

订阅专栏

private boolean getTextHelper(StringBuffer sb, Node node,
boolean abortOnNestedAnchors,
int anchorDepth) {
if ("script".equalsIgnoreCase(node.getNodeName())) {
return false;
}
if ("style".equalsIgnoreCase(node.getNodeName())) {
return false;
}
if (abortOnNestedAnchors && "a".equalsIgnoreCase(node.getNodeName())) {
anchorDepth++;
if (anchorDepth > 1)
return true;
}
if (node.getNodeType() == Node.COMMENT_NODE) {
return false;
}

if (node.getNodeType() == Node.TEXT_NODE) { //node是解析下来的网页源文件所包含的内容

//Node.TEXT_NODE:节点属于文本节点<body><div><a href><td>等标签
// cleanup and trim the value
String text = node.getNodeValue(); //获取节点里面的文本内容，相当与去掉HTML标签

text = text.replaceAll("//s +", " ");
text = text.replace("【", "");
text = text.replace("】", "");
text = text.replace("[", "");
text = text.replace("]", "");
text = text.replace("|", "");
text = text.replace("┊", "");
text = text.replace("?", "");
text = text.replace("?", "");
text = text.replace("？", "");
text = text.replace("|", "");
text = text.replace("、", "");
text = text.replace("-", "");
text = text.replace("~", "");
text = text.replace("!", "");
text = text.replace("@", "");
text = text.replace("#", "");
text = text.replace("$", "");
text = text.replace("^", "");
text = text.replace("*", "");
text = text.replace("(", "");
text = text.replace(")", "");
text = text.replace("%", "");
text = text.replace(">", "");
text = text.replace("?", "");
text = text.replace("%", "");

text = text.trim();

temp = node.getParentNode().toString(); //获取父节点的标签

if (text.length() > 0 && temp.indexOf("A:") == -1) { //如果属于<a href>，则过滤...

if (sb.length() > 0) sb.append(' ');
sb.append(text);
}
}
boolean abort = false;
NodeList children = node.getChildNodes();
if (children != null) {
int len = children.getLength();
for (int i = 0; i < len; i++) {
if (getTextHelper(sb, children.item(i),
abortOnNestedAnchors, anchorDepth)) {
abort = true;
break;
}
}
}
return abort;
}

ant 编译时，提示两个错误，8个警告

2个错误分别是：
temp = node.getParentNode().toString();
if (text.length() > 0 && temp.indexOf("A:") == -1) {
都是提示找不到temp这个符号

8个警告分别是
text = text.replace("?", "");
警告：编码UTF-8的不可映射字符。

出现错误的问题在于temp未declared，感谢坛子里的好友的帮助。
改：
String temp = node.getParentNode().toString();
OK了。
我输入string时输入小写了，晕，用windows用习惯了，唉，错误百出啊，呵呵
警告的问题这个是编码的原因造成的，修改build.xml即可，我已经解决了。