【论文推荐】了解《算法优化》必看的6篇论文【附打包下载地址】

论文推荐

“SFFAI113期来自深圳大学的王振楠推荐的文章主要关注于基础研究的算法优化领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI113"获取本主题精选论文

01

推荐理由：这篇论文是本报告内容的数理基础。类似的数学论文有很多，但这篇比较简洁全面的介绍了高维空间中的超球面上点的均匀分布问题，并且论述了常用的几类方法，还列出了几个常用的算法。

02

推荐理由：这篇比较早（据我所知，是第一篇）提出迭代的训练方式。也就是开始使用所有参数进行训练；一段时间后，把数值较小的参数去掉；继续训练一段时间后，把之前去掉的参数重新初始化接着训练。这样最后提升了模型的泛化性能。很新颖的训练方式。

03

推荐理由：这篇论文可以看成是上一篇的升华。主要有两点改进：①把DSD这种方式进行多次迭代；②在sparse阶段，使用权重向量的余弦相似性，来进行判断是否要去掉。这篇论文的写作对motivation有比较详细的叙述。

04

推荐理由：正交正则化在很多工作中都用，但据我所知，这是第一篇正式提出和论述正交正则化的论文。

05

推荐理由：这篇和本报告的内容非常相关。这篇论文也尝试使用均匀分布达到权重向量去相关性，但是其使用的是Thomson problem里面的势能函数，计算复杂、极小值点多。

06

推荐理由：这是上一篇论文的姊妹篇。首先证明了上一篇论文存在极小值点多的问题，并分析了其原因。然后，这篇论文提出一些解决这些问题的tricks。但是其解决方法并不涉及一种新的方案，属于对上篇论文方法的完善。