基于深度神经网络的多属性无监督真值发现

《基于深度神经网络的多属性无监督真值发现》文献阅读

1.简介

问题1：无监督下，如何估计真值？
回答1：将各层布置为链式结构，每一层都是前一层的函数，各层两两相连，并且引入了修正线性单元来增强非线性部分。
问题2：如何描述数据源可靠度与观测值可信度之间的复杂关系？
回答2：以往文献会采用一个简单函数（尽管看起来很复杂）来表示关系，在本文中用权重矩阵来替代。

2.文献中提到的知识点

softmax

作用主要有：
1.应用于多分类
2.将数值转化为概率，从而实现归一化
适用条件：一般当多分类是互斥的时候，我们选择softmax，否则可以选用多个二分类器。（这也引出本文结尾的第二个困惑）

正则项

要降低模型的复杂度，来获得模型更好的泛化能力。
本文中选取了L2范数，指向量各元素的平方和然后求平方根。但与L1范数不同，它不会让它等于0，而是接近于0，这里是有很大的区别的哦；所以大家比起1范数，更钟爱2范数。

修正线性单元（RELU）：

引入非线性部分。没有激活函数每层就相当于矩阵相乘，仅仅相当于最原始的感知机罢了。

tensorflow

一个建模平台，正在学习。