java 清洗数据_[JAVA]清洗latex数据

首先，找出符合条件的文章。

一.清洗公式

格式为

\\begin{equation}...\\end{equation}

\\begin{eqnarray}...\\end{eqnarray}

二.以每段为准，将句子连接，接着进行分句(每行为一个句子)。(暂时不分句)

三.清洗标签

1.清洗公式标签，格式为

(\\$$.*?\\$$)?

(\\$.*?\\$)?

2.清洗文献引用，斜体

\cite{...}

\footnote{...}

{\em ...}

\item

\begin{enumerate} \end{enumerate}

四、词根化

Porterstemmer

五、去停用词

FileExcludeStopWord

另附获取web的文章id与subjects对应信息

保存网页

一.Test

从网页解析数据，通过匹配字符信息来获取文章id、Title、subjects。

二.subjectindex

document-subjects数字化，将subject标注，doc转化。

三、countsort

统计每个subjects包含几个文件，并排序。

四、chooseK

选择符合条件的数据集，选择与K线性增大的数据集。