![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
记录机器学习的学习过程
Taneeyo
努力学习
展开
-
SVM 支持向量机 推导过程 软硬间隔最大化 线性SVM到非线性SVM 核函数 SMO 三种模型推导证明过程 (Ⅰ)
支持向量机其实这个模型是为了解决分类问题。而且是基于线性模型的。我们从最简单的二分类问题入手。先定义数据集:T={(x1,y1),(x2,y2)...(xN,yN)}T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right)...\left(x_N,y_N\right)\right\}T={(x1,y1),(x2,y2)...(xN,yN)}T={(xi,yi)} (i=1,2...N)T=\left\{\left(x_i,y_i原创 2020-12-05 22:07:32 · 423 阅读 · 0 评论 -
感知机分类器 超平面距离损失函数 理论推导 证明收敛性
感知机分类器 理论推导感知机其实也是一个线性分类模型,但是同逻辑回归不同,主要是损失函数建立的思路同时不从概率角度出发。(一)假设函数数据集(样本):X⊑RNf(x;ω,b)=ω1x1+ω2x2+...+ωNxN+bX\sqsubseteq\mathbb{R}^N\\f(\boldsymbol x;\omega,b)=\omega_1x_1+\omega_2x_2+...+\omega_Nx_N+bX⊑RNf(x;ω,b)=ω1x1+ω2x2+...+ωNxN+b增广形式:f(x;ω)=原创 2020-12-04 10:24:44 · 655 阅读 · 0 评论 -
逻辑回归(Logistic Regression)推导证明
逻辑回归(Logistic Regression)推导证明逻辑回归是一个线性模型,是机器学习的基础重要模型之一。目标:实现分类数据集(样本):X⊑RNf(x;ω,b)=ω1x1+ω2x2+...+ωNxN+bX\sqsubseteq\mathbb{R}^N\\f(\boldsymbol x;\omega,b)=\omega_1x_1+\omega_2x_2+...+\omega_Nx_N+bX⊑RNf(x;ω,b)=ω1x1+ω2x2+...+ωNxN+b增广形式:f(x;ω)=ω0x0原创 2020-12-03 23:09:11 · 746 阅读 · 0 评论 -
【数学基础】梯度下降法 理论推导 从局部最小解引入推导
【数学基础】梯度下降法先一步一步来:(一)全局最小值与局部最优值对于很多非线性的优化问题,会存在许许多多的若干局部最小值。局部最小值的定义是:假设 x∗x^\astx∗是一个局部最小值存在一个 δ>0\delta>0δ>0 对于所有满足 ∥x−x∗∥<δ \parallel x-x^\ast\parallel<\delta\;∥x−x∗∥<δ 的xxx都有 f(x∗)⩽f(x)f(x^\ast)\leqslant f(x)f(x∗)⩽f(x) , 也就是说在原创 2020-12-03 21:44:58 · 521 阅读 · 0 评论 -
统计机器学习概述
统计机器学习概述机器学习(Machine Learing)简称ML,是一种让计算机从已有知识中进行学习,得到新知识或者新规律的方法或称技术。是人工智能领域下的一个子领域。在早期常被称为模式识别(Pattern Recognition)PR,但是模式识别其实现在来说是更加偏向实际的应用场景,比如语音识别、人脸识别等等。传统机器学习中,我们无论学习哪一种模型,总要有几个步骤的:一:目的首先要明确你要解决什么问题,从什么角度去解决。比如分类问题可以从线性回归、后验概率等角度出发。二:数据集定义数据集如原创 2020-12-03 20:46:55 · 866 阅读 · 0 评论 -
朴素贝叶斯理论推导 多项式分布 利用极大似然估计进行参数估计
朴素贝叶斯理论推导 多项式分布与伯努利分布 利用极大似然估计进行参数估计(一):贝叶斯定理先从条件概率来看P(AB)=P(A∣B)×P(B)P(AB)=P(B∣A)×P(A)P(AB)=P(A\vert B)\times P(B)\\P(AB)=P(B\vert A)\times P(A)P(AB)=P(A∣B)×P(B)P(AB)=P(B∣A)×P(A)上式中,A,B事件同时发生的概率等于:B发生时,A发生的概率乘B事件发生的概率。或者可以说是A发生时,B发生的概率乘A事件发生的概率。举原创 2020-12-03 15:35:19 · 2584 阅读 · 2 评论