Rosenbrock function
f ( x ) = ( x − 1 ) 2 + 100 ( y − x 2 ) 2 f(x)=(x-1)^2+100(y-x^2)^2 f(x)=(x−1)2+100(y−x2)2, 用于测试优化器性能
针对这种shallow ravine，使用momentum。 建议初始时 γ = 0.5 \gamma=0.5 γ=0.5, 稳定后 γ = 0.9 \gamma =0.9 γ=0.9
Hubel Wiesel Architecture
这是一种视觉建模方式。CNN就属于它。
卷积层的理解
- 相当于判断每个区域于filter的相似度，类比相关函数
- 在Frobinius归一化情况下，等价于余弦相似度
- 实现
from scipy import signal
signal.convolve(f,g,mode='valid')
// mode 还有full和same
// 内部用np.rot90() 或np.rot180()
正则化参数的选取
吴恩达建议：多次尝试看看蒙对时的loss，根据它选择正则化参数
676
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
