使用正则表达式抽取新闻/BBS网页发表时间

最新推荐文章于 2021-12-11 11:46:10 发布

weixin_33749242

最新推荐文章于 2021-12-11 11:46:10 发布

阅读量255

点赞数

文章标签： java

原文链接：https://yq.aliyun.com/articles/478131

版权

package org.apache.nutch.parse.html;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
* 分析时间戳
*
* @author xum
*
*/
public class PublishTimeExtract {

private static final String TIME_REGEX = "(:|>|\\s)?20[0-9]{2}(-|/|\\.|\\u5e74)\\d{1,2}(-|/|\\.|\\u6708)\\d{1,2}(\\u65e5)?.\\d{2}(:|\\u65f6)\\d{2}((:|\\u5206)\\d{2})?";
private static Pattern pattern = Pattern.compile(TIME_REGEX);
private static SimpleDateFormat sdf = new SimpleDateFormat(
"yyyy-MM-dd HH:mm:ss");
private static final String BBS_URL = "(http://bbs/\\..*|http://www\\.tianya\\.cn/[a-zA-Z]*forum/content/.*)";

/**
* @param content
* @param url
* @return
*/
public static String extractDate(String content, String url) {

Matcher m = pattern.matcher(content);
Date now = new Date();

// BBS分析最后一个发表时间
if (url.matches(BBS_URL)) {

String dateStr = null;

Date date = null;

while (m.find()) {

dateStr = m.group();

if (dateStr == null)
continue;

dateStr = dateStr.trim().replaceAll(">", "");

    if (dateStr.startsWith(":")) {
     dateStr = dateStr.replaceFirst(":", "");
    }

    dateStr = dateStr.replaceAll("\\.|/|\\u5e74|\\u6708|\\u65e5",
      "-");
    dateStr = dateStr.replaceAll("\\u65f6|\\u5206", ":");

Date tempDate;