- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hessian 矩阵
Hessian 矩阵： 曲面的二阶导矩阵，可以这样理解：在曲面上某一点出对其进行二阶泰勒展开，得到一个可以逼近曲面在该点的二阶曲面，此时应用二阶曲面优化算法，若hessian矩阵病态就意味着Hessian矩阵的特征值之间相差较大，在该点出进行展开得到的二阶曲面要么过于陡峭，要么过于平坦。...
2019-11-14 14:26:40
638
原创 图像语义分割的衡量指标
常用的由四个指标，在FCN一文中使用的就是这四个指标：Pixel accuarcy：标记正确的像素占总像素的比例。 Mean Pixel Accuarcy：PA的一种简单提升，计算每个类被正确分类的像素数所占的比例，之后再求所有类的平均。 Mean Intersection Over Union：为语义分割的标准度量，其计算连个集合的交集和并集之比。在图像语义分割中这两个集合分别为真实值和...
2019-04-09 20:53:00
1692
原创 为什么Batch Norm有效？
最近思考得到的解答，将input进行norm标准化，等价于input进行了缩放，在进行反向传播修正时(以mini batch-SGD为例)，计算梯度时，不会出现梯度爆炸和消失（因为在这之前对input进行了norm）。同时batchsize的选取很有讲究，batch太小，计算出的梯度下降方向震荡，或是出现前后更新方向相抵消。导致难以学习，或者无法收敛。太大会导致下降方向无太大变化，求解最优解依赖于...
2019-04-04 14:36:11
1260
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人