2017年06月_This is bill

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载 KL散度(Kullback-Leibler_divergence)

KL散度(Kullback-Leibler_divergence)一. 概念KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于这个字符集的熵：H(X)=∑x∈XP(x

2017-06-25 16:17:03 608

转载梯度下降（Gradient Descent）小结

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称gr

2017-06-25 14:08:13 865

转载向量点积(Dot Product),向量叉积(Cross Product)

参考的是《游戏和图形学的3D数学入门教程》，非常不错的书，推荐阅读，老外很喜欢把一个东西解释的很详细。1.向量点积(Dot Product)向量点积的结果有什么意义？事实上，向量的点积结果跟两个向量之间的角度有关。2.向量叉积(Cross Product)两个向量a,b,它们的叉积表示为axb，这个很容易跟数学中两个数字之间的相乘，但是这里是完全不同的。两个向量叉积在图形坐标中就很直观了，axb同

2017-06-24 15:42:15 2328

转载凸优化及其相关理论

”凸优化“ 是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数，等式约束函数为仿射函数，并且定义域为凸集的优化问题为约束优化问题没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs22

2017-06-11 16:07:25 1057

转载 TensorFlow深度学习，一篇文章就够了

原文出处：我爱计算机（@tobe迪豪）作者: 陈迪豪，就职小米科技，深度学习工程师，TensorFlow代码提交者。TensorFlow深度学习框架Google不仅是大数据和云计算的领导者，在机器学习和深度学习上也有很好的实践和积累，在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比，TensorFlow在Gi

2017-06-11 10:42:37 923