2018/5/22 山东大学学习资源聚合平台工作

前面一段时间都在做前端的美化，没有新的感悟，就没有每天发内容。

今天开始做系统的研究方面，我的研究课题是对文章进行质量控制，即当用户发布资源时，如何评价这篇文章的好坏，是否应列入我们的资源库中。

我现在大体的思路是这样的：

1.首先，我们有定时从网上爬取的资源，这类资源由于已经存在一等时间，可以利用一些外部指标来评定，比如该内容的点赞数、引用数等。

2.对于我们系统中用户率先发布的内容，就没有了这种外部指标，只能利用我们内部的评定规则去审核，我大概想到了如下几个方面：

（1）内容合法性的分析：文章内容中是否包含敏感词，这个比较好做，只需要看文章中是否包含我们敏感词库中的内容即可。

（2）文章的内容和标签的关联度问题：这一步是验证他写的文章是否切合主题，初步的思路是看标签以及标签的同义词、关联词在文章中所占的比例，应该保持在一个大体的比例上，这个比例的确定可以利用我们爬下来的文章来确定，因为正常文章中关键词的词频的差距应该不会太大。

（3）文章的相似度问题：文章应该与我们库中的文章尽量的不同，这里我们可以利用文章之间的余弦相似度来衡量，我们应该确保我们的这篇新文章和与它标签相同或相似的文章的距离较近，而与其他的标签不同的较远，这也是检验内容的关联度。同时距离应该和平均距离接近，上下不超过Δ，Δ值的确定可以将某个相似簇中的所有距离排序，计算相邻元素间的差距离，计算这个差距离的平均值。但是这里有个问题，就是可能存在一个完全新的观点去描述某个领域，这时有可能这个点就会孤立出去，当这个点不属于任何一簇时，就可以将这个当成一个新的簇去演化，每个标签下可以有许多簇这样子吧。。。。这里还没太想明白怎么做，之后做到时再说

这里有个问题，就是我们对于内部指标的评定，有许多需要借助外部指标，当有一个新的标签进入时，可以先以标签为关键词去爬取相关资源，再做评判。大体思路是这样，在实现过程中还有许多细节需要处理。