- 博客(2)
- 收藏
- 关注
RSS订阅原创 Inception-V1
Hebbian principle和Multi-scale processing是inception-V1的理论基础。Hebbian principle是神经科学中的名词，被概括为神经元”fire together, wire together”的特性。即是相关性高的神经元将一同兴奋。对于机器学习而言，一种好的方法是将类似的神经元聚集在一起。Multi-scale processing是来自于一种...
2018-06-27 16:49:47
337
原创 凸还是非凸？交叉熵在softmax和neural network中的不同凸性
交叉熵损失函数交叉熵是极大似然估计的直接产物，常在分类问题中作为logistic回归和neural network的损失函数出现（据说在回归问题中最小均方误差使用较多）。在优化过程中，函数的凸性对优化有较大影响，对于凸函数，局部最优解等同于全局最优解，因而能够通过基于梯度的方法找到全局最优解，而非凸函数局部最优解不等于全局最优解，使用基于梯度的方法不能保证找到全局最优解。交叉熵的凸性较为复...
2018-05-16 20:02:37
5922
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人