1、引言
1-1、编写目的
明确设计,供项目管理者阅读。
1-2、定义
缩写、术语 | 解 释 |
关键词 | 从报告、论文中选取出来用以表示全文主题内容信息的单词或术语;关键词自动抽取是依靠计算机从文档中选择出反映主题内容的词 |
停用词 | 在信息检索中,为节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词 |
标签 | 一种互联网内容组织方式,是相关性很强的关键字,它帮助人们轻松的描述和分类内容,以便于检索和分享 |
元数据 (meta data) | 描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。 |
数据库实体 | 数据库管理系统中的不同管理对象 |
1-3、参考资料
1、http://shiyanjun.cn/archives/548.html
2、http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
3、http://xwrwc.blog.163.com/blog/static/46320003201010634132451/
4、http://www.cnblogs.com/kissdodog/archive/2013/02/28/2937900.html
5、http://zhoufoxcn.blog.51cto.com/792419/280320
6、http://zhoufoxcn.blog.51cto.com/792419/280580
7、http://zhoufoxcn.blog.51cto.com/792419/281956
8、http://zhoufoxcn.blog.51cto.com/792419/283021
9、http://developer.baidu.com/wiki/index.php?title=%E5%B8%AE%E5%8A%A9%E6%96%87%E6%A1%A3%E9%A6%96%E9%A1%B5/%E7%99%BE%E5%BA%A6%E7%BF%BB%E8%AF%91/%E7%BF%BB%E8%AF%91API
2、总体设计
2-1、需求
- 定义在线问答网站的内容结构,找出其中涉及的实体及它们之间的关系;
- 能够支持增量式的将输入的新数据,按照定义好的内容结构合并到已有的内容中(重复内容怎么处理,更新内容怎么处理,用户上传内容怎么处理);
- 支持标签;
- 支持关键词翻译;
- 有一个界面来跟踪和报告数据处理的进度。
2-1-1、定义内容结构,得到实体关系,建立数据库
- 输入:无
- 输出:无
2-1-2、数据库连接
- 输入:serverIp(服务器地址),dbName(数据库名称),string user(用户),password(用户密码)
- 输出:无
2-1-3、插入新数据
- 输入:PageTitle、Author、postdate、link、<tag,文本>组
- 输出:插入数据库
2-1-4、去重、去噪
- 输入:未经过处理的rawdata
- 输出:去掉html标签等噪声数据的文本,去掉非utf-8编码的文本
2-1-5、分词
- 输入:文本数据、分词器(默认用PanGu分词器)
- 输出:用该分词器处理得到的分词数据
2-1-6、关键词抽取
- 输入:数据库中的分词后的数据
- 输出:通过TF-IDF方法得到关键词
2-1-7、翻译
- 输入:数据库中的文本数据
- 输出:实现中英对照
2-1-8、最终数据展示
- 输入:Ttile、Author、Postdate、满足前面条件下的标签
- 输出:满足前面所有要求的文本数据
2-1-9、跟踪报告数据处理进度
- 输入:无
- 输出:显示数据处理的进度
2-2、软件结构
程序 | 功能 | 输入 | 输出 |
数据库连接 | 连接数据库 | serverIp(服务器地址),dbName(数据库名称),string user(用户),password(用户密码) | 无 |
插入数据 | 向数据库中增加数据 | PageTitle、Author、postdate、link、<tag,文本>组 | 无 |
去重、去噪 | 去除噪声数据、非utf-8文本 | 原始数据 | 去噪后数据 |
分词 | 对去噪数据进行分词 | 去噪后数据 | 分词数据 |
关键词抽取 | 得到文本的关键词 | 数据库中分词数据 | 若干个关键词 |
翻译 | 进行文本中英对照 | 文本数据 | 中英对照的文本数据 |
最终数据展示 | 对得到的最终数据进行功能展示 | 数据库中相应数据 | 展示数据库中数据 |
跟踪报告处理数据进度 | 一个界面来跟踪和报告数据处理的进度 | 选择的文本数据(可有很多个) | 输出现在正在处理得数据以及处理得进度 |
2-2-1、模块汇总表
关键词抽取子系统 | |
模块名称 | 功能简述 |
去噪、去重 | 去除噪声数据、非utf-8文本 |
分词 | 对去噪数据进行分词 |
关键词抽取 | 抽取出数据的关键词 |
翻译子系统 | |
模块名称 | 功能简述 |
中英互译 | 对文本进行翻译对照 |
UI展示子系统 | |
模块名称 | 功能简述 |
处理单个数据界面 | 对数据进行插入、去噪、分词、提取关键词、中英对照、最终结果显示
|
处理多个文件界面 | 跟踪和报告数据处理的进度界面 |