【数据挖掘】通用论坛正文提取

前言

好久没有更新博文了，三月份、四月份都在为春招而呕心准备，期间巩固了 java 基础知识、Android 基础知识以及计算机相关的课程知识。

说回正题，四月末的时间参加了一个数据挖掘竞赛：第五届泰迪杯数据挖掘挑战赛
现在写一篇博文分享一下这次参赛经历吧。

泰迪杯官网：http://www.tipdm.org/bdrace/index.html

有兴趣可以看看。

可选题目

可选题目有三道，分别是：

A 题 基于市场资金流向分析的商品期货量化交易策略

A 题分析：

A 题涉及金融相关知识，这是绝大多数计算机学生的短板，坦诚地说，很多金融关键词根本看不懂，所以直接跳过。

B 题 中央空调系统的数据分析与控制策略

B 题分析：

B 题 中央空调系统的数据分析与控制策略
相对于 A 题 来说，算是有一定的认识，题目和去年第四届泰迪杯的 B 题
铁路旅客流量预测 有一定的共同点。但是鉴于小组三人数学物理功底都不咋地，所以果断放弃这题。

C 题 通用论坛正文提取

C 题分析：

终于看到一道涉及 编程 的题目了，简单分析了题目，题目要求是一个通用的（也就是说得适合绝大多数的）论坛正文提取程序嘛，接下来就是深入分析如何去实现这个程序即可。

总的来说，就是对于任意 BBS 类型的网页，获取其 HTML 文本内容，设计一个智能提取该页面的主贴、所有回帖的算法。如下面的网页截图所示，提取主贴和回帖的区域，提取出相应数据字段（只需要提取文本， 图片、视频、音乐等媒体可以直接忽略），并按规定的数据格式（Json 格式）存储。

看看举办方给的示例：

示例提取这个论坛帖子的内容：