机器学习经典算法
文章平均质量分 58
SYaoJun
这个作者很懒,什么都没留下…
展开
-
决策树
决策树简介 非参数学习算法 天然可解多分类问题 也可解决回归问题 非常好的解释性 信息熵 熵在信息论中代表,随机变量不确定度的度量。 熵越大,数据的不确定性越高;熵越小,数据的不确定性越低。 H=−∑i=1kpilog(pi)H = -\sum\limits_{i=1}^kp_ilog(p_i)H=−i=1∑kpilog(pi) 其中pip_ipi代表kkk类信息中所占的比例 基尼系数 G...原创 2018-10-22 09:34:52 · 273 阅读 · 0 评论 -
线性回归法
简介 解决回归问题,思想简单,实现容易,许多强大的非线性模型的基础,结果具有很好的可解释性,蕴含机器学习中的很多重要思想。 简单线性回归 y(i)=ax(i)+by^{(i)}=ax^{(i)}+by(i)=ax(i)+b 其中y^(i)\hat y^{(i)}y^(i)为预测值 我们希望y(i)y^{(i)}y(i)与y^(i)\hat y^{(i)}y^(i)的差距尽可能小,考虑所有样本:...原创 2018-10-22 16:38:43 · 316 阅读 · 0 评论 -
集成学习
简介 集成多个算法 投票:少数服从多数 Vot原创 2018-11-07 13:53:03 · 156 阅读 · 0 评论 -
深度学习
学习的能力,是智能的本质。 深度学习在计算机视觉方面的应用 1.部分遮蔽(最核心最困难) 2.现状改变(核心) 3.照射角度 4.光照强度 5.背景混入 深度学习常规套路 1.收集数据并给定标签 2.训练一个分类器 3.测试评估 神经网络常用技巧 1.神经网络加层能使训练数据集拟合效果很好,但是层数过多很容易出现过拟合。常用正则化来处理过拟合问题。 卷积神经网络CNN 1.输入层 2.卷积层 3....原创 2018-11-20 15:54:38 · 251 阅读 · 0 评论 -
主成分分析
简介 一个非监督的机器学习算法 主要用于数据的降维 通过降维,可以发现更便于人类理解的特征 可视化好,可去燥 问题 如何找到这个让样本间间距最大的轴 如何定义样本间间距 答案 使用方差Variance Var(x)=1m∑i=1m(xi−xˉ)2Var(x)=\frac{1}{m}\sum\limits_{i=1}^m(x_i -\bar x)^2Var(x)=m1i=1∑m(xi−xˉ)2...原创 2018-11-20 15:57:10 · 181 阅读 · 0 评论 -
梯度下降法
简介 梯度下降法不是一个机器学习算法 是一种基于搜索的最优化方法 作用:最小化一个损失函数 梯度上升法:最大化一个效用函数 在直线方程中,导数代表斜率 在曲线方程中,导数代表切线斜率 导数可以代表方向,对应JJJ增大的方向 −ηdJdθ-\eta \frac{dJ}{d\theta}−ηdθdJ η\etaη称为学习率(learning rate) η\etaη的取值影响获得最优解的速度 η\e...原创 2018-11-20 15:57:25 · 168 阅读 · 0 评论 -
吴恩达《机器学习》
4.1 Multiple features(variables) notation nnn = number of feature x(i)x^{(i)}x(i) = input (features) of iiith training example xj(i)x_j^{(i)}xj(i) = value of features jjj in iiith training example hy...原创 2018-11-20 15:57:36 · 210 阅读 · 0 评论