AI领域的发展会是IT中最快的。我们所看到的那些黑客技,其后面无不堆积了大量的论文。而且都是最新、最前沿的论文。
从某种调度来讲,他们所用的技术跟书籍里的内容确实不是一个时代。要想与时俱进,就必须改变思路——从论文入手。
接下来就来介绍一下这些论文及地址
一
神经网络基础部分
No1 wide_deep模型论文:
关于神经元、全连接网络之类的基础结构,想必每个AI学者都有了解。那么你是否真的了解全连接网络中深层与浅层的关系呢?来看看wide_deep模型吧。这篇论文会使你对全连接有个更深刻的理解。
关于该模型的更多介绍可以参考论文:
https://arxiv.org/pdf/1606.07792.pdf
在wide_deep模型中,wide模型和deep模型具有各自不同的分工。
—wide模型:一种浅层模型。它通过大量的单层网络节点,实现对训练样本的高度拟合性。它的缺点是泛化能力很差。
—deep模型:一种深层模型。它通过多层的非线性变化,使模型具有很好的泛化性。它的缺点是拟合度欠缺。
将二者结合起来——用联合训练方法共享反向传播的损失值来进行训练—可以使两个模型综合优点,得到最好的结果。
No2 wide_deep模型论文:
为什么Adam被广泛使用?光会用可不行,还得把原理看懂。这样出去喷一喷,才会显得更有面子。
Adam的细节请参阅论文《Adam: A Method for Stochastic Optimization》,该论文的链接网址是:
https://arxiv.org/pdf/1412.6980v8.pdf
No3 Targeted Dropout模型论文:
你还再用普通的Dropout吗?我已经开始用Targeted Dropout了。比你的又快,又好。你不知道吧,赶紧学习一下。
Targeted Dropout不再像原有的Dropout那样按照设定的比例随机丢弃部分节点,而是对现有的神经元进行排序,按照神经元的权重重要性来丢弃节点。这种方式比随机丢弃的方式更智能,效果更好。更多理论见以下论文:
https://openreview.net/pdf?id=HkghWScuoQ
二
图像分类部分
No4 Xception模型论文:
在那个图像分类的时代,谷歌的Xception系列,像x战警一样,一个一个的打破记录。其中的技术也逐渐成为AI发展的知识体系。有必要看一下。或许会对自己的工作有所启发。
详细情况请查看原论文《Xception: Deep Learning with Depthwise Separable Convolutions》,该论文网址是:
https://arxiv.org/abs/1610.02357
No5 残差结构论文:
运气好到没朋友,现有模型,后完善理论指的就是残差结构这哥们。他的传奇导致即使到今天的AI技术,也无法将它割舍,就来常微分方程都得拿它比肩。快来学学吧。用处大着呢。好多模型都拿他当先锋。
利用残差结构,可以使得网络达到上百层的深度。详情请参阅原始论文《Deep ResidualLearning for Image Recognition》,该论文网址是:
https://arxiv.org/abs/1512.03385
No6 空洞卷积论文:
NasNet的招牌动作,虽然不是出于NASNet,但是却被人家用得如火纯青。有时不得不惊叹,机器设计出来的模型还真实跟人设计的不一样!
想知道空洞卷积的感受野为什么与层数呈指数级关系吗?
细节请查看原论文《Multi-scale context aggregation by dilated convolutions》,该论文网址是:
https://arxiv.org/abs/1511.07122v3
No7 DenseNet论文:
这个模型使我想到了“一根筋”,再次证明了只有轴的人才能成大事!令类的模型,神奇的效果,快来体验一下吧。这可是比华佗还牛的神医哦!
有关DenseNet模型的细节,请参考原始论文《Densely Connected Convolutional Networks》,该论文的连接是:
https://arxiv.org/abs/1608.06993
No8 EfficientNet模型论文:
知道目前位置图像分类界谁是老大吗? 来,看看这个!
EfficientNet模型的论文地址如下:
https://arxiv.org/pdf/1905.11946.pdf
No9 Grad-CAM