如何向深度学习模型中加入先验知识？

链接：https://www.zhihu.com/question/279012198

编辑：深度学习与计算机视觉

声明：仅做学术分享，侵删

作者：采石工
https://www.zhihu.com/question/279012198/answer/1298985606

1) CNN 中使用的卷积层就是利用了图像像素距离越近相关性越强的先验 (卷积层是局部连接的).

2) 行人重识别中常用的水平分块也是利用了行人图像未对齐的先验.

3) 目标检测中 anchor 的尺度和宽高比的设置也是根据先验确定的.

可见一个新的网络层 (如上述的卷积层) , 新的网络模块 (如上述的水平分块), 特定的参数设置 (如前述的 anchor 的设置) 都可以引入先验知识.

作者：知乎用户zKk5cV
https://www.zhihu.com/question/279012198/answer/404294388

何种先验知识？实际上使用深度网络结构本身就是使用了先验知识，是把数据结构用所构造的深度网络来表达。其他的先验知识，比如基于feature engineering思想的先验知识可以加在网络结构中，比如识别人体姿态，就可以把人体结构的先验信息通过对检测的局部特征的message passing来进行滤波增强。

作者：Wheeler
https://www.zhihu.com/question/279012198/answer/1278980060

要看你想加入哪种先验知识，，比如，如果想要用神经网络拟合sin(x)是比较困难的，但是我们直接用sin做激活函数。。。这算不算利用了先验知识？

更一般的情况下，就是我们已经知道某个问题大概怎么个解决思路，可以直接利用这个思路来设计对应的模型结构。其次，如果已知解决问题需要某些先验知识，可以对模型中的一部分进行预训练。

作者：刘聪NLP https://www.zhihu.com/question/279012198/answer/1283610943

预训练模型算不算加入了先验知识。

建模过程中可以加入分词，词性，ner，位置等信息。

不过像分词等，还可能加入新的噪声，取决于分词效果。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓