![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 94
浩然然然
不做追光,自己发光
展开
-
Transformer模型原理—论文精读
今天来看一下Transformer模型,由Google团队提出,论文名为《Attention Is All You Need》。正如标题所说的,注意力是你所需要的一切,该模型摒弃了传统的RNN和CNN结构,网络结构几乎由Attention机制构成,该论文的亮点在于提出了Multi-head attention机制,其又包含了self-attention,接下来我们将慢慢介绍该模型的原理。原创 2023-06-03 23:02:58 · 2318 阅读 · 0 评论 -
支持向量机(SVM)原理及公式推导
今天来看一下西瓜书第六章——支持向量机。文章目录定义对偶问题核函数软间隔和正则化支持向量回归定义SVM 就是一种二分类模型,他的基本模型是的定义在特征空间上的间隔(margin)最大的线性分类器,SVM 的学习策略就是找到间隔最大化的超平面。我们来看这张图:在这个二分类的图中,直觉告诉我们 H3H_3H3 的泛化能力最好。对于 H1H_1H1 来说,他不能把类别分开,这个分类器肯定是不行的。而 H2H_2H2 可以,但是分割线与最近的数据点只有很小的间隔,一旦新数据有一定偏差,就会分类错误原创 2021-11-30 16:06:54 · 3665 阅读 · 0 评论 -
初识神经网络和反向传播算法
今天来看一下西瓜书第五章——神经网络。文章目录定义感知机与多层网络误差逆传播算法全剧最小与局部最小以下介绍的是人工神经网络,是模拟生物神经网络进行信息处理的一种数学模型。定义神经网络最基本的成分是神经元模型,生物中如果某神经元的电位超过某个阈值,那么它就会被激活,向其他神经元发送化学物质。以下是 M-P 神经元模型,由输入的信号 xix_ixi 赋予权重 wiw_iwi 之后,对应相乘求和,通过阈值 θ\thetaθ 比较,最后通过激活函数输出 0/1 一个新的神经元。常用的激活函数有以下原创 2021-11-27 17:19:37 · 513 阅读 · 0 评论 -
初识决策树(Decision Tree)
今天来看一下西瓜书第四章——决策树。文章目录信息增益增益率基尼系数剪枝处理预剪枝后剪枝连续值与缺失值处理连续值处理缺失值处理决策树,简单来说就是一个树形结构从根节点往叶子节点进行决策,树内部的每一个节点是对一个特征的测试,树的分支代表该特征的每一个测试结果,而树的每一个叶子节点代表一个类别。信息增益信息熵是度量样本纯度的一种指标,假设样本集合 DDD 中第 kkk 类样本所占比例为 pk,k=1,2,⋯ ,Np_k,k=1,2,\cdots,Npk,k=1,2,⋯,N (在二分类中,N=2N=2原创 2021-11-25 23:31:45 · 403 阅读 · 0 评论 -
线性回归大家族
今天来看一下西瓜书第三章——线性模型。文章目录线性模型一元线性回归多元线性回归对数线性回归广义线性回归对数几率回归线性判别分析多分类学习类别不平衡问题线性模型简单来讲,线性模型是试图把已知属性的线性组合来进行预测的函数,即有f(x)=w1x1+w2x2+⋯+wdxd+bf(x)=w_1x_1+w_2x_2+\cdots+w_dx_d+bf(x)=w1x1+w2x2+⋯+wdxd+b将其写成向量如下:f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b其中 w=(w原创 2021-11-22 22:39:47 · 616 阅读 · 0 评论 -
初识机器学习
翻开周志华老师的西瓜书,让我感到本科阶段的数学知识忽远忽近,今后让我们捡回数学知识,一起学习这本经典的机器学习书籍,遨游在机器学习的海洋里吧。文章目录引言假设空间归纳偏好检验误差与过拟合评估方法留出法交叉验证法自助法性能度量错误率与精度准确率、召回率与 F1ROC 与 AUC偏差与方差引言首先什么是机器学习?举个例子,假设一家公司正招聘一名新员工,在招聘广告登出之后有1000个人申请,每个人都投了简历。每个人都有着各式各样的技能(或者说是特征),如果人为的靠经验一个个筛选,这实在太多了,所以我们想训练原创 2021-11-17 01:25:16 · 525 阅读 · 0 评论