![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 82
SanFanCSgo
这个作者很懒,什么都没留下…
展开
-
数据挖掘读书笔记--第九章:高级分类:BP神经网络、SVM支持向量机
散记知识点——“探索复杂高级的分类方法”1.神经网络1.1 神经网络的基本概念(1) 定义神经网络是一组连接的输入/输出单元,其中每个连接都与一个权重相关联。在学习阶段,通过调整这些权重,使得它能够预测输入元组的正确类标号来学习。(2) 前馈神经网络结构前馈神经网络,又称后向传播(BP, back propagation)神经网络。由一个输入层、一个或...原创 2018-04-24 15:16:06 · 2924 阅读 · 0 评论 -
机器学习:神经网络激活函数总结
神经网络各种激活函数总结1. 激活函数基本概念1.1 激活函数的作用激活函数向神经元中引入了非线性因素,使得神经网络可以逼近任意非线性函数,能应用到诸多非线性场景中。1.2 激活函数的饱和性(1) 饱和:激活函数既满足左饱和又满足又饱和。右饱和:激活函数f(x)f(x)f(x)满足: limx→+∞=0limx→+∞=0\lim_{x\rightarrow +...转载 2018-04-20 19:19:42 · 1476 阅读 · 2 评论 -
机器学习:神经网络代价函数总结
神经网络代价函数1. 代价函数基本定义代价函数是衡量模型预测输出值与目标真实值之间差距的一类函数,在一些场景中也称为目标函数。在神经网络中,代价函数(如二次误差函数)衡量输出值与真实值之间的误差,以此进行误差反向传递,不断调整网络中权值和阈值,从而使得预测值和真实值之间的差距越来越小。一些常用的代价函数主要有:二次代价函数、交叉熵代价函数以及对数似然函数等等。2...原创 2018-04-21 19:35:20 · 8965 阅读 · 2 评论 -
机器学习:过拟合、神经网络Dropout
过拟合过拟合现象机器学习中,过拟合现象就是训练模型高度适用于训练集,而对测试集或未知数据集效果不好的情况。表现为训练集过度拟合具有高准确率,而测试集的准确率明显低于测试集。防止过拟合防止过拟合的方法有:增加数据集,正则化方法以及Dropout方法。1. 增加数据集数据挖掘中,数据量越多,对模型参数调整就越准确。多的数据往往比好的训练模型要重要,因此,增加数...原创 2018-04-26 13:48:22 · 1487 阅读 · 1 评论 -
机器学习:各种优化器Optimizer的总结与比较
优化器总结机器学习中,有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。梯度下降法(Gradient Descent)梯度下降法是最基本的一类优化器,目前主要分为三种梯度下降法:标准梯度下降法(GD, Gradient Descent),随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, B...原创 2018-04-26 15:28:37 · 137457 阅读 · 30 评论 -
机器学习:支持向量机SVM原理与理解
引言——“举牌子:Support Vector Machines ”一直在犹豫要不要写SVM,因为网上已经有很多详细的SVM原理的解释甚至详细推导,而这东西又庞大复杂,想了解的话直接可以参考。说实话,SVM确实到现在也不是说很懂,感觉最恐怖的是对偶问题后的KKT推导、Mercer定理以及最后的参数求解。随便拿出来一个都是及其晦涩的数学问题。无奈水平不行,只能囫囵吞枣。之所以决定要敲一下...原创 2018-05-04 20:07:38 · 7322 阅读 · 2 评论 -
【转载】决策树处理缺失值
训练样本出现缺失值一、在选择分裂属性的时候,训练样本存在缺失值,如何处理?(计算分裂损失减少值时,忽略特征缺失的样本,最终计算的值乘以比例(实际参与计算的样本数除以总的样本数))假如使用ID3算法,那么选择分类属性时,就要计算所有属性的熵增(信息增益,Gain)。假设10个样本,属性是a,b,c。在计算a属性熵时发现,第10个样本的a属性缺失,那么就把第10个样本去掉,前9个样本组成新的样本...转载 2018-09-27 10:30:45 · 1919 阅读 · 0 评论