(为什么没有非线性的激活函数,网络的逼近能力就相当有限?
网络的逼近能力是指? 逼近任何函数
逼近真实值,能更好的拟合真实值
上下层节点?激活函数?
现实生活问题大部分是非线性的函数
为什么要构造这样的一个函数呢)
Relu是分段线性函数。当x小于等于0时,函数值都取0,当x大于0时,是个简单的一次线性函数,这种单侧抑制方法能提高计算效率,收敛速度加快,并且不存在梯度消失的问题,更符合生物学神经激活机制。
(所以什么是梯度消失?)
(我怎么感觉和我的研究方向越离越远?点云数据集)
(不是很相关啊)
就使得直接使用深度学习对其处理非常具有挑战性。典型问题如下:
点的表示肯定不会影响,点的实际位置啊。表示只是表示而已。
(对于B和C,各自找到一个坐标系,使得四个点的表示相同,还是有可能的,直接使用卷积,卷积的矩阵相同的话,处理的结果就会相同,实际上是不相同的)
(但是在我的研究方向,车载的激光雷达,一次性就是一个股东的坐标系,应该不会存在这个问题吧)
(所以用最近邻法来描述点与点之间的关系)
(这篇文章接下来的不想看了,暂时先放着吧,接着看会议论文)
()