#Paper Reading# Implicit Neural Representations with Periodic Activation Functions

论文题目: Implicit Neural Representations with Periodic Activation Functions
论文地址: https://arxiv.org/abs/2006.09661
论文发表于: arXiv 2020

论文大体内容：
本文主要提出使用sin来做激活函数，并且在特定任务上比relu好。

Motivation：
如何更好的处理复杂信号（如音频、图像、3D）是一个问题。

Contribution：
①本文提出使用周期激活函数来处理复杂信号（音频、图像、3D）；
②可以使用NN来学习到信号表示；
③在各类任务中有详细的实验，并取得更好的效果；

1. 初看论文，公式还挺复杂的，但是关键点就只是将激活函数改为sin。

2. 句子中有句话如下，说明用sin做激活函数是特别依赖超参weight的。
"Note that building SIRENs with not carefully chosen uniformly distributed weights yielded poor performance both in accuracy and in convergence speed."

3. 经过实验，总的来说，并不具有通用性。

参考资料： 
[1] https://vsitzmann.github.io/siren/
[2] pytorch实现代码：https://github.com/lucidrains/siren-pytorch
[3] tensorflow实现代码：https://github.com/titu1994/tf_SIREN
[4] 知乎讨论：https://www.zhihu.com/question/402299421

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！