机器学习
mensyne
微信
展开
-
机器学习与算法(16)-softmax 回归
softmax 回归softmax 回归该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的,在 softmax回归中,我们解决的是多分类问题(相对于 logistic 回归解决的...原创 2018-03-08 20:45:24 · 904 阅读 · 0 评论 -
机器学习与算法(18)-常见的梯度下降的算法
常见梯度下降的算法通常,在常见的机器学习与算法中,对于很多的监督式算法中,都需要我们对其原始模式建立其损失函数,然后在采用一些优化的算法来对建立的损失函数进行优化,目的是为了找到更优的参数,因此了解常见的随机梯度下降的算法,对于如何降低误差,有很大的帮助,在这里,将列出一些常见的梯度下降的算法:1:批量...原创 2018-03-28 14:32:25 · 752 阅读 · 0 评论 -
机器学习与算法(15)--卡方自动交互检测算法 CHAID
卡方自动交互检测算法 CHAID 卡方自动交互检测法(chi-squared automatic interaction detector, CHAID)最早由Kass于1980年提出,是一个用来发现变量之间关系的工具,是一种基于调整后的显着性检验(邦费罗尼检验)决策树技术。 其核心思想是:根据给定...原创 2018-03-04 13:49:09 · 5593 阅读 · 0 评论 -
机器学习与算法(13)--分类和回归树(CART)
分类和回归树(CART)转自http://blog.csdn.net/baimafujinji/article/details/53269040算法步骤CART假设决策树是二叉树,内部结点特征的取值为“是”和“否”,左分支是取值为“是”的分支,右分支是取值为“否”的分支。这样的决策树等价于递归地...转载 2018-03-04 13:47:13 · 4230 阅读 · 2 评论 -
机器学习与算法(11)--弹性网络(Elastic Net)
弹性网络(Elastic Net)弹性网络是一种使用 L1,L2范数作为先验正则项训练的线性回归模型.这种组合允许学习到一个只有少量参数是非零稀疏的模型,就像 Lasso一样,但是它仍然保持一些像Ridge的正则性质。我们可利用 l1_ratio 参数控制L1和L2的凸组合。弹性网络是一不断叠代的方法。...转载 2018-03-04 13:44:57 · 42843 阅读 · 0 评论 -
机器学习与算法(9)--岭回归(Ridge Regression)
岭回归(Ridge Regression) 岭回归(ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实...原创 2018-03-04 13:42:40 · 14231 阅读 · 0 评论 -
机器学习与算法(8)--局部加权学习算法(LWR)
局部加权学习算法(LWR) 局部加权回归(LWR)是非参数学习方法。 首先参数学习方法是这样一种方法:在训练完成所有数据后得到一系列训练参数,然后根据训练参数来预测新样本的值,这时不再依赖之前的训练数据了,参数值是确定的。而非参数学习方法是这样一种算法:在预测新样本值时候每次都会重新训练数据得到新...原创 2018-03-04 13:41:11 · 2092 阅读 · 1 评论 -
机器学习与算法(7)--自组织映射算法(SOM)
自组织映射算法(SOM)自组织映射(SOM)或自组织特征映射(SOFM)是一种使用非监督式学习来产生训练样本的输入空间的一个低维(通常是二维)离散化的表示的人工神经网络(ANN)。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。自组织映射(SOM)是一种非监督学习,一...原创 2018-03-04 13:40:03 · 3021 阅读 · 0 评论 -
机器学习与算法(6)--学习矢量化
学习矢量化 学习矢量量化(Learning Vector Quantization,简称LVQ),与1988年提出的一种用于模式分类的有监督学习算法,是一种结构简单、功能强大的有监督式神经网络分类算法。典型的学习矢量量化算法有:LV...原创 2018-03-04 13:38:32 · 3653 阅读 · 0 评论 -
机器学习与算法(5)--KNN 算法
K-近邻算法(KNN)K近邻算法是一种基于类比的分类方法,主要通过给定的检验组与和它相似的训练组进行比较来学习。训练组用n个属性来描述,每个元组代表n维空间上的点。当给定一个未知元组时,K最近邻分类法搜索该模式空间,找出最接近未知元组的k个训练组,并将未知元组指派到模式空间中它的k个...原创 2018-03-04 13:35:27 · 554 阅读 · 0 评论 -
机器学习与算法(4)--本地散点平滑估计(LOESS)
本地散点平滑估计(LOESS)本地散点平滑估计(Locally Estimated Scatterplot Smoothing,LOESS),事先不用确定参数数量,每次预测的时候,用指定的样本点周围的样本点进行临时训练,确定参数。优缺点: 优点:直接、快速...原创 2018-03-04 13:32:30 · 5815 阅读 · 0 评论 -
机器学习与算法(3)--多元自适应回归(MARS)
多元自适应回归样条 多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS)是由美国的统计学家Jerome Friedman于1991年提出的一种数据分析方法。 该方法以样条函数的张量积作为基函数,分为前向过程、后向剪枝过程与模型选取...原创 2018-03-04 13:30:32 · 22282 阅读 · 3 评论 -
如何利用matlab做BP神经网络分析(包括利用matlab神经网络工具箱)
利用MATLAB 进行BP神经网络的预测(含有神经网络工具箱) 最近一段时间在研究如何利用预测其销量个数,在网上搜索了一下,发现了很多模型来预测,比如利用回归模型、时间序列模型,GM(1,1)模型,可是自己在结合实际的工作内容,发现这几种模型预测的精度不是很高,于是再在网上进行搜索,发现神经网络模型可以来预测,并且有很多是结合时间序列或者SVM(支持向量机)等组合模型来进...原创 2016-11-21 21:54:01 · 146726 阅读 · 75 评论 -
机器学习与算法(2)--logistic回归
Logistic回归logistic回归对应线性回归,但旨在解决分类问题,即将模型的输出转换为0/1值。逻辑回归直接对分类的可能性进行建模,无需事先假设数据的分布。最理想的转换函数是单位阶跃函数(也称Heaviside函数),但单位阶跃函数是不连续的,没法在实...原创 2018-03-04 13:28:06 · 415 阅读 · 0 评论 -
机器学习与算法(1)---线性回归
线性回归线性回归是最简单的回归方法,它的目标是使用超平面拟合数据集,即学习一个线性模型以尽可能准确的预测实值输出标记。 线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x+e,e为误差服从均值为0的正态分布。 回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线...原创 2018-03-04 13:25:28 · 559 阅读 · 0 评论 -
机器学习与算法(17)-Factorization Machine
转自:http://blog.csdn.net/google19890102/article/details/45532745 因子分解机(FM算法模型) 一、因子分解机FM的模型 因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵...转载 2018-03-08 21:04:38 · 492 阅读 · 0 评论 -
机器学习与算法(14)--ID3算法(Iterative Dichotomiser 3)
ID3算法 ID3算法是决策树的一种,它是基于奥卡姆剃刀原理的,即用尽量用较少的东西做更多的事。ID3算法,即Iterative Dichotomiser3,迭代二叉树三代,是Ross Quinlan发明的一种决策树算法,这个算法的基础就是上面提到的奥卡姆剃刀原理,越是小...原创 2018-03-04 13:48:08 · 2918 阅读 · 0 评论