MachineLearning
好运来2333
接受自己的平凡,但要活得不平庸!
展开
-
sklearn实现SVM
1.SVM原理本文侧重于利用sklearn库实现svm,对理论知识不做讲解。2.sklearn实现SVM本文目的:使用svm对Iris数据集进行分类。数据集介绍:Iris数据集是常用的分类实验数据集,也称鸢尾花卉数据集,是一类多重变量分析的数据集。数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性。可通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(...原创 2019-01-17 15:12:39 · 3584 阅读 · 1 评论 -
过拟合与欠拟合
1. 过拟合我觉得百度百科对过拟合定义还是很靠谱的百度百科:https://baike.baidu.com/item/过拟合/3359778?fr=aladdin1.1 概念为了得到一致假设而使假设变得过度严格称为过拟合。1.2 定义给定一个假设空间 H,一个假设 h 属于 H,如果存在其他的假设 h’ 属于 H,使得在训练样例上 h 的错误率比 h’ 小,但在整个实例分布上 h’ 比...原创 2019-07-03 10:32:09 · 425 阅读 · 0 评论 -
激活函数
课上一个偶然的提问让我觉得有必要重新思考一下激活函数,现以Rethinking Activation Function为题写下这篇博客。Rethinking Activation Function1. 什么是激活函数?2. 为什么需要激活函数?3. 激活函数类型?...原创 2019-08-01 09:02:25 · 402 阅读 · 0 评论 -
交叉熵损失函数
1. 交叉熵交叉熵(Cross Entropy)是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。从数学角度上看,假设有两个概率分布,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,交叉熵是用非真实分布q来表示某个事件发生所需要的平均比特数。假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布,上式表示采用非真实分布q来表示真实分布...原创 2019-08-01 09:02:47 · 1860 阅读 · 0 评论 -
归一化与标准化
1归一化特点 对不同特征维度的伸缩变换的目的是使各个特征维度对目标函数的影响权重是一致的,即使得那些扁平分布的数据伸缩变换成类圆形。这也就改变了原始数据的一个分布。好处:1 提高迭代求解的收敛速度2 提高迭代求解的精度2标准化特点 对不同特征维度的伸缩变换的目的是使得不同度量之间的特征具有可比性。同时不改变原始数据的分布。好处1 使得不同度量之间的特征具有可比性,对目标函数的影响体现...原创 2019-09-01 08:51:49 · 666 阅读 · 0 评论 -
统计学习方法三要素
统计学习方法由模型、策略和算法构成的,即 方法 = 模型 + 策略 + 算法。1. 模型在监督学习过程中,模型就是所需要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。由决策函数表示的模型为非概率模型,其假设空间为:F={f∣Y=fθ(X),θ∈Rn}F = \{ f | Y=f_{\theta}(X), \theta \in R^n \}F={f...原创 2019-09-01 08:52:20 · 956 阅读 · 0 评论 -
贝叶斯理论
1. 似然似然(likelihood)与概率(probability)是完全不同的数学对象,但又有着极其相似的身影。概率(密度)f(x∣θ)f(x | \theta)f(x∣θ):表示给定 θ\thetaθ 下样本随机向量 X=xX=xX=x 的可能性;似然f(θ∣x)f(\theta | x)f(θ∣x):表示给定样本 X=xX=xX=x 下参数 θ\thetaθ 为真实值的可能性。举...原创 2019-09-01 08:52:37 · 4147 阅读 · 0 评论 -
TensorFlow内置交叉熵损失函数
今天讲解Tensorflow内置4中交叉熵损失函数:sigmoid_cross_entropy_with_logitsaaaaaaaaa1. sigmoid_cross_entropy_with_logitstf.nn.sigmoid_cross_entropy_with_logits( _sentinel=None, labels=None, logit...原创 2019-10-01 09:13:30 · 765 阅读 · 0 评论 -
贝叶斯分析之利用线性回归模型理解并预测数据(一)
问题:利用给定的数据建立 y 与 x 之间的线性模型 y=α+βxy=\alpha+\beta xy=α+βx ?1. 构造出数据集假设一个线性模型: y=2.5+0.9∗xy=2.5+ 0.9 * xy=2.5+0.9∗x,在生成数据时加一个扰动项(eps_real)np.random.seed(1)N = 100alfa_real = 2.5beta_real = 0.9eps...原创 2019-10-01 09:13:49 · 4345 阅读 · 3 评论 -
贝叶斯分析之利用线性回归模型理解并预测数据(二)
这一节主要讲分层线性回归与多项式回归模型1. 分层线性回归先了解一下什么是分层模型?以抛硬币问题为例,后验 yyy 服从伯努利分布,先验 θ\thetaθ 服从Beta分布,那么Beta分布的两个参数 α,β\alpha, \betaα,β 是怎么来的呢?如果给予 α,β\alpha, \betaα,β 一个新的分布,那么就称这个新的分布为超先验(即更高层的先验)。可以用如下图进行表示:...原创 2019-10-01 09:14:04 · 2151 阅读 · 2 评论 -
贝叶斯分析之利用线性回归模型理解并预测数据(三)
这一节主要讲多元线性回归模型一元线性回归讨论的是一个因变量与一个自变量的关系,但是在很多例子中,模型可能包含多个自变量。在一元线性回归模型中,我们希望一条直线来解释数据,而在多元线性回归模型中,我们希望找到一个维度为 m 的超平面。以 y=α+0.9∗x1+1.5∗x2y = \alpha + 0.9 * x_1 + 1.5 * x_2y=α+0.9∗x1+1.5∗x2 为例讲解多元线...原创 2019-10-01 09:14:30 · 3482 阅读 · 0 评论 -
贝叶斯分析之利用逻辑回归对数据进行分类
将逻辑回归应用到莺尾花数据集原创 2019-11-03 13:36:11 · 2344 阅读 · 0 评论