机器学习
Nick-Hwong
机器学习 深度学习 图像处理
展开
-
决策树总结
Measure熵随机变量X的熵定位为H(X)=H(p)=−∑i=1npilogpiH(X) = H(p) = -\sum_{i=1}^{n}p_i\log{p_i}H(X)=H(p)=−∑i=1npilogpi. 熵只依赖于X的分布,与X的取值无关。熵用来表示随机变量不确定性的度量当X只有两种取值时,H(p)=−plog2p−(1−p)log2(1−p)H(p) = -p\l...原创 2019-04-01 21:24:07 · 204 阅读 · 0 评论 -
SVM总结
线性可分SVM1. 概念分离超平面w∗⋅x+b∗=0 (1)w^{*} \cdot x+b^{*}=0 \ \ \ \ \ \ \ \ (1)w∗⋅x+b∗=0 (1)分类决策函数f(x)=si...原创 2019-06-19 21:52:03 · 135 阅读 · 0 评论 -
线性回归、逻辑回归的总结
1)线性回归定义:利用线性回归方程的最小二乘函数对自变量x与因变量y之间关系进行建模的回归分析(参考wiki)。最小二乘法:线性回归方程:Y=WTXY = W^TXY=WTX其中X可以包含偏置bbb。从贝叶斯的角度看待线性回归线性回归可以看成是一种极大似然估计(极大似然估计(MLE)是一种估计参数的方法,MLE假设已经知道随机样本服从的分布但不知道分布的参数,根据当前样本去求...原创 2019-04-19 19:03:02 · 312 阅读 · 0 评论 -
对于线性代数、特征空间、特征提取、深度学习的一些深夜思考
今天女票要毕业论文送审,昨晚熬夜。我们平时一般睡眠时间相近,我也就想着我也稍微晚点睡吧(打算一点左右睡)。结果从思考矩阵乘法的意义开始,停不下来。一直想到了两点多,三点多接近四点才睡着。算是昨晚独自思考没有查书。对于特征向量的知识还是17年考研时留下的记忆,当然我可以很肯定的说,我当时数学学得很好哈哈,也是根据当时的一些理解引申出来的一些拙见吧。这一年多自己还是有点贪玩,没有做出我自己应该有的成...原创 2019-04-22 20:09:00 · 3099 阅读 · 2 评论 -
牛顿法与拟牛顿法总结
1) 牛顿法假设目标函数为f(x)f(x)f(x)将f(x)f(x)f(x)在xkx^kxk用泰勒公式二阶展开,得f(x)=f(x(k))+gkT(x−x(k))+12(x−x(k))TH(x(k))(x−x(k)) (1)f(x)=f\left(x^{(k)}\right)+g_{k}^{\ma...原创 2019-04-21 22:47:40 · 6602 阅读 · 0 评论 -
矩阵求导总结
矩阵对标量求导结果为矩阵,向量对标量求导结果为向量标量对标量求导结果为矩阵,向量对标量求导结果为向量向量与矩阵的导数满足乘法法则:∂xTa∂x=∂aTx∂x=a\frac{\partial x^Ta}{\partial x} = \frac{\partial a^Tx}{\partial x} = a∂x∂xTa=∂x∂aTx=a∂AB∂x=∂A∂xB+A∂B∂x\frac{\par...原创 2019-04-20 11:47:04 · 200 阅读 · 0 评论 -
关于Hessian矩阵与凸优化
我发现我突然又喜欢上推导公式了,看来我本科线代99考研数学一141的数学基础还在。。首先,我们知道Hessian矩阵是一个关于二阶导的矩阵。鞍点:鞍点处附近存在有正有负的的二阶导。当hessian矩阵正定的时候,为什么只有一个唯一最优解?可以将f(x)f(x)f(x)泰勒展开f(x)=f(x0)+gT(x0)(x−x0)+12(x−x0)TH(x−x0)f(x) = f(x_0) + g^...原创 2019-04-20 23:14:32 · 3369 阅读 · 0 评论 -
二次规划的全局最优
二次规划其中这些问题在我考研的时候也想清楚了,只是读研以来一开始做的是进化算法,后来又做的深度学习,都是理论性不太强的方向。这些东西有点忘了,现在看到书突然一下记起来了,便做个笔记吧。定义:一类典型的优化问题,目标函数是变量的二次函数,而约束条件使变量的线性不等式min12xTQx+cTxs.t.Ax≤b\min \frac1 2x^TQx+c^Tx \\ s.t.Ax\le bmin2...原创 2019-04-20 16:29:55 · 3512 阅读 · 2 评论 -
朴素贝叶斯总结
朴素贝叶斯定义:基于贝叶斯定理与特征条件独立假设的分类方法。方法:给定输入x,根据贝叶斯定理求出后验概率最大的输出y即根据p(Y∣X)p(Y|X)p(Y∣X)决定预测分类y。details根据训练数据集学习到联合概率分布P(X,Y)P(X,Y)P(X,Y)以及条件概率分布P(X=x∣Y=ck)P(X=x|Y=c_k)P(X=x∣Y=ck)朴素贝叶斯对条件概率分布做了条件独立性假设...原创 2019-04-13 11:03:06 · 282 阅读 · 0 评论 -
机器学习之L1 L2
参考:https://zhuanlan.zhihu.com/p/35356992正则化正则化是结构风险最小化的一种策略。给损失函数加上正则化项,能使得在优化模型的时候要对经验风险与模型复杂度做一个trade-off,同时符合偏差和方差(若模型非常复杂,那么加入噪声以后的输入可能输出就会跟目标差距很大,鲁棒性降低,方差变大)分析。通过降低模型复杂度,得到更好的泛化能力,降低模型对训练数据的拟合...原创 2019-04-12 22:44:17 · 364 阅读 · 0 评论 -
期望风险、经验风险、结构风险
经验风险:基于训练集最小化损失函数期望风险:基于所有样本最小化损失函数,不可求结构风险:损失函数要加正则项,防止过拟合原创 2019-04-12 21:31:06 · 142 阅读 · 0 评论 -
非极大值抑制(NMS)
NMS:常用于目标检测中,将候选框中与高分候选框重合度大于某一阈值的候选框去掉。算法流程:令filter_boxes为待筛选的候选框的集合,初始化为所有候选框。令chosen_boxes为已经入选的候选框集合,初始化为空。对filter_boxes根据预测概率从高到底进行排序。遍历filter_boxes将filter_boxes中概率最高的filter_boxes[0]放入c...原创 2019-07-12 16:56:38 · 337 阅读 · 0 评论