机器学习
Mdzc
这个作者很懒,什么都没留下…
展开
-
矩阵求导学习记录
西瓜书中,利用最小二乘法来对多元线性回归中的w和b进行估计。∂(y−Xw)T(y−Xw)∂w∂(y−Xw)T(y−Xw)∂w∂(y−Xw)T(y−Xw)∂w需对下式进行偏导说明: y、w为列向量,X为矩阵此为矩阵之间的求导,与大学课本中多项式的求导不同,故查询了一下求导方法以此记录矩阵的求导多通过查表来选择方法维基百科 Matrix calculus表中将各种情况的矩阵的求导公式都一一列出。针对上...转载 2018-04-07 17:51:52 · 310 阅读 · 0 评论 -
机器学习——参数和超参数
参数:从训练数据中学习出的变量。 如,网络中的权重,偏差等超参数:就是用来确定模型的一些参数,超参数不同,模型是不同的。超参数一般就是根据经验确定的变量。 (choice about the algorithm that we set rather than learn)这些参数无法直接从数据中学习到,需要我们设置 在深度学习中,超参数有:学习速率,迭代次数,层数,...转载 2018-05-05 18:08:34 · 1792 阅读 · 0 评论 -
笔记:约束问题的最优化:拉格朗日乘子法、KKT条件
约束条件可以分为:(1)等式约束、(2)不等式约束等式约束的优化问题,可直接使用拉格朗日乘子法去求最优解;不等式约束的优化问题,可以转化为满足KKT约束条件下应用拉格朗日乘子法求解。其次,拉格朗日求得的不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,否则可能是局部解无约束优化 对于变量x属于R ,需求问题:根据Fermat定理,对该函数求导,找到使其导数为0的点,即如果不存在此点,可...原创 2018-07-09 21:29:08 · 1461 阅读 · 0 评论