机器学习
文章平均质量分 97
主要介绍或转载自己学习的一些机器学习常用算法
永恒的记忆2019
这个作者很懒,什么都没留下…
展开
-
机器学习之简单神经网络
0、引言在感知机一节中讲到感知机是一种线性模型,存在的缺点是很难解决非线性问题,比如异或(XOR)就是一种典型的线性不可分的问题,因此有了神经网络,通过在感知机的结构中添加隐藏层来拟合非线性问题。1、原理2、代码实现神经网络的构建过程:定义神经网络结构(指定传输层、隐藏层、输出层大小);初始化模型参数;循环操作:执行前向传播/计算损失/执行反后向传播/权值矩阵常见参数优化算法(如:梯度下降法、随机梯度下降、牛顿法、拟牛顿法、Adam)数学原理可以看下以下的博客:https://blo原创 2020-05-28 23:12:57 · 369 阅读 · 1 评论 -
机器学习之SVM(支持向量机)
0.前言感知机作为一种线性分类模型,很难处理非线性问题。为了处理非线性的情况,在感知机模型的基础上有了两个方向,一个就是上一讲说到的神经网络,大家也看到了,现在深度学习大放异彩,各种网络功能强大。但实际上在神经网络兴起之前,基于感知机的另一种模型——支持向量机,同样可以解决非线性问题。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们...原创 2020-04-21 14:25:57 · 471 阅读 · 0 评论 -
转载:机器学习中正则化项L1和L2的直观理解
转自:此处对于机器学习中常碰到的正则化L1和L2一直比较模糊,偶然看到了一篇比较好的博客分享给大家。对原文我精简了下要点,同时文章底下的评论内容也可以看看解答自己的疑惑。L1正则化 和 L2正则化,或者说 L1范数 和L2范数,常见机器学习的损失函数末尾,也就是惩罚项,说白了就是加上一个条件限制,限制某些参数的权重取值。对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用...转载 2020-04-01 22:36:28 · 231 阅读 · 0 评论 -
机器学习之线性模型
机器学习之线性模型1.一元线性回归模型2.多元线性回归模型逻辑回归模型(对数几率回归)Logistic回归模型的实践线性回归也就是可以用一条直线来拟合一个点集。博主大概总结下机器学习的线性模型,以及主要的公式推到,参考书籍是周志华教授的西瓜书《机器学习》,博主给出了一些西书中主要的公式推导思路或过程,对于常用的逻辑回归模型,利用sklearn机器学习包实现对MNIST公共数据集的简单分类应用。...原创 2020-04-01 21:56:13 · 1094 阅读 · 0 评论 -
机器学习之决策树
1.概念与目的决策树是一种基本的分类与回归方法.它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布.主要优点是模型具有可读性,分类速度快.决策树主要抓住三个步骤:特征选择、决策树的生成和决策树的修剪。CART决策树也叫分类与回归决策树,注意掌握生成时最优切分变量和切分点的算法生成的思想。2.决策树模型分类决策树模型是一种描述对实例进行分类的树形结构...原创 2019-11-07 21:26:08 · 541 阅读 · 0 评论 -
机器学习之朴素贝叶斯分类器/贝叶斯网络
1.概念与目的朴素贝叶斯是基于***贝叶斯定理***和***特征条件独立假设***的分类方法.首先学习输入/输出的联合概率分布,然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y.属于生成模型.朴素贝叶斯法的精髓在于后验概率最大化。基本方法:假设输入空间X⊆Rn为n维向量的集合,输出空间为类标记集合Y=c1,c2,…,cK。输入为特征向量x∈X,输出为类标记y∈Y。X是...原创 2019-11-06 15:36:43 · 1150 阅读 · 0 评论 -
k近邻法(KNN)
1.概念与目的k近邻法(k-Nearest Neighbor,简称kNN)学习是一种常用的监督式学习方法。给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。通常,在分类任务中可使用“投票法”,即选择这k个样本中出现最多的类别标记作为预测结果;在回归任务中可以使用“平均法”,即将这k个样本的实值输出标记的平均值作为预测结果;还可以基于距离...原创 2019-11-05 19:56:28 · 1919 阅读 · 0 评论 -
机器学习之感知机
1.概念与目的感知机是**二类分类的线性模型,属于判别模型**.假设训练数据集是线性可分的,感知机学习的目标是**求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面**。如果是非线性可分的数据,则最后无法获得超平面.是神经网络和支持向量机的基础.**超平面:**在二维空间中超平面是一条线,在三维空间中的超平面是一个平面2.模型f(x)=sign(w⋅x+b)w叫作权值...原创 2019-11-03 17:31:09 · 290 阅读 · 0 评论