机器学习
小李飞飞砖
这个作者很懒,什么都没留下…
展开
-
过拟合原因及解决
过拟合原因及解决过拟合:模型在训练集上效果好;在测试集上效果差。模型泛化能力弱。1、数据量小 解决:数据增强,也就是增加训练数据样本 例如:通过一定规则扩充数据或采集更多数据2、模型复杂度过大,造成训练误差过小 解决: 1)、在输入中加噪声: 在输入中加高斯噪声,会在输出中生成干扰项。训练时,减小误差,同时也会对噪声产生的干扰项进行惩罚,达到减小权值的平方的目...原创 2018-08-15 23:07:15 · 1969 阅读 · 0 评论 -
决策树与随机森林初探
1、特征选择的几种方式2、过拟合处理——剪枝3、随机深林4、Bagging5、Boosting(GBDT、XGBoost)决策树的优势力与劣势1、特征选择的几种方式决策树的最关键的问题,如何选择划分属性的顺序才能使得决策树的平均性能最好举例: 这堆西瓜的熵是Ent(D),按照某种属性划分之后这堆西瓜的熵是Ent(D′),Ent(D′) &a原创 2018-08-19 13:11:04 · 17383 阅读 · 0 评论 -
支持向量机(SVM)初探
一、SVM推导(包括最初分类函数、最大化margin、拉格朗日) 二、对偶问题求极值 1) 、当所有约束条件都满足时,则有2式等于1/2||w||^2,亦即最初要最小化的量。 在要求约束条件得到满足的情况下最小化1/2||w||^2,实际上等价于直接最小化2式,如3式;2)、 这里用P*表示这个问题的最优值,且和最初的问题是等价的。如果直接求解,那么一上来便得面对w和b两个参数,...原创 2018-08-17 00:12:13 · 717 阅读 · 0 评论 -
贝叶斯
一、相关公式1、条件概率公式设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概率(conditional probability)为: P(A|B)=P(AB)/P(B)2、乘法公式1).由条件概率公式得: P(AB)=P(A|B)P(B)=P(B|A)P(A...原创 2018-08-31 12:59:24 · 57786 阅读 · 0 评论 -
聚类
聚类与分类的区别:学习方式:聚类是非监督,分类是监督数据源:聚类的数据源不需要标签,分类的数据源需要标签应用场景:聚类用于探索性分析,分类用于预测性分析聚类算法种类:两点之间的距离:两类别之间的距离:欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:...原创 2018-08-24 12:14:09 · 246 阅读 · 0 评论 -
相似度与距离算法种类总结
评价个体的相似性和类别时,衡量个体差异的方法主要有【距离】和【相似度】两种: 假设我们要比较X个体和Y个体间的差异,它们都包含了N个维的特征, X=(x1, x2, x3, … xn) Y=(y1, y2, y3, … yn) 下面来看看主要可以用哪些方法来衡量两者的差异。一、距离度量(6种) 1.欧几里得距离(Euclidean Distance)以及...原创 2018-08-24 13:07:43 · 7164 阅读 · 0 评论 -
推荐系统总结
一、推荐系统结构二、推荐引擎算法(Algorithm)1、协同过滤推荐算法1.1 关系矩阵与矩阵计算1.1.1 用户与用户(U-U矩阵)1.1.2 物品与物品(V-V矩阵)1.1.3 用户与物品(U-V矩阵)1.1.4 奇异值分解(SVD)1.1.5 主成分分析(PCA)目标:PCA目标是使用使用另一组基去重新描绘得到的数据空间,新的基要尽可能揭示原...转载 2018-09-02 17:43:47 · 24173 阅读 · 3 评论 -
relu与sigmod的比较
relu的优势:第一,防止梯度弥散,sigmod函数只有在0附近有较好的激活性,接近正负饱和区时,变换太缓慢,导数趋于0,造成梯度弥散,而relu函数在大于0的部分梯度为常数,所以不会产生梯度弥散现象;第二,稀疏性,Relu会使一部分神经元的输出为0,这样就造成了网络的稀疏性,缓解了过拟合问题的发生,relu函数在负半区的导数为0 ,所以一旦神经元激活值进入负半区,那么梯度就会为0,也就是...原创 2018-09-02 17:35:48 · 3908 阅读 · 0 评论 -
交叉熵和均方差损失函数的比较(Cross-Entropy vs. Squared Error)
将从线性回归,逻辑回归,多分类的逻辑回归(softmax)三个例子分析。我们定义,将b放到w中,,其中f为激活函数。 总结对SE而言,要得到一个线性的梯度,必须输出不经过激活函数才行。这样的情况只有线性回归,所以SE较适合做回归问题,而CE更适合做分类问题,在分类问题中,CE都能得到线性的梯度,能有效的防止梯度的消失;SE作为分类问题的loss时,由于激活函数求导的...转载 2018-09-02 17:43:29 · 2651 阅读 · 0 评论