机器学习
文章平均质量分 95
Super_ZLW
这个作者很懒,什么都没留下…
展开
-
【ML-2020/21】Generative Adversarial Network (GAN) --- Part-1 基本介绍
目录写在前面的说明基本概念GenerationDiscriminatorGeneration vs. DiscriminatorAlgorithm补充写在前面的说明这个系列【ML-2020/21】大部分是课上内容的简单复述,之前上过但因为笔记写得很乱就忘了很多,所以重来一遍。与其看我这篇,不如直接去看视频,讲得还更生动。视频系列链接→\rightarrow→这里。基本概念Generative Adversarial Network (GAN) 中文名是【生成式对抗网络】,用这个网络的目的是为了让机器原创 2021-08-03 04:19:15 · 579 阅读 · 0 评论 -
【ML-2020/21】CNN & Self-Attention
写在前面的说明这个系列【ML-2021】大部分是课上内容的简单复述,之前上过但因为笔记写得很乱就忘了很多,所以重来一遍。与其看我这篇,不如直接去看视频,讲得还更生动。视频系列链接→\rightarrow→这里。这里介绍两个常见的Network架构,分别为CNN 和 Self-Attention。CNNCNN主要是用来处理图像的,对于Fully Connected Network,每个神经元都要观察整张图片,这明显不是高效率的做法,所以更常见的是让每个神经元处理某一特定的pattern,,比如说就像下原创 2021-07-28 02:02:09 · 618 阅读 · 0 评论 -
支持向量机(SVM)
目录引入线性SVM硬间隔最大化软间隔最大化非线性SVM多项式核(Polynomial Kernel)径向基函数(Radial Basis Functions)Mercer's Condition相关补充引入对于上一篇提到的风险(Risk):R(w)≤Remp(w)+ϵ(N,p∗,h)R(w)\leq R_{emp}(w)+\epsilon(N,p^*,h)R(w)≤Remp(w)+ϵ(N,p∗,h)其中NNN是训练数据量,p∗p^*p∗是到达边界的概率,hhh是VC维度。为了最小化风险,经典的机器学原创 2021-07-21 22:26:09 · 1128 阅读 · 0 评论 -
线性降维与统计学习理论(Linear Dimensionality Reduction & Statistical Learning Theory)
线性降维(Linear Dimensionality Reduction)(以PCA为例)引入主成分分析(Principal Component Analysis,PCA)是最常见的线性降维方法。拿之前的线性回归举例,对于最小二乘法的线性回归,其求解参数为:w^=(X^X^)−1X^y\hat{w}=(\hat{X}\hat{X})^{-1}\hat{X}yw^=(X^X^)−1X^y其中X^∈Rd×n\hat{X}\in \R^{d\times n}X^∈Rd×n,y∈Rn×1y\in \R^{n\原创 2021-07-18 22:55:45 · 575 阅读 · 2 评论 -
分类问题(Classification)
目录引入判别函数(Discriminant Functions)基本知识线性判别函数(Linear Discriminant Functions)二分类多分类Fisher 判别分析(Fisher Discriminant Analysis)一个例子用作引出正式开始尝试最大化两个类的均值(效果不好)同时考虑均值和方差(正式引入Fisher线性判别法)感知器算法(Perceptron Algorithm)逻辑回归(Logistic Regression)Generative vs. Discriminative原创 2021-07-17 18:29:37 · 2309 阅读 · 0 评论 -
线性回归(Linear Regression)
目录引入最小二乘法线性回归(Least Squares Linear Regression)一次项回归多项式回归(Polynomial Regression)回归的最大似然法(Maximum Likelihood Approach to Regression)概率回归(Probabilistic Regression)回归中的损失函数(Loss Functions in Regression)贝叶斯线性回归(Bayesian Linear Regression)最大后验(MAP)MAP与正则化的最小二乘法的原创 2021-07-16 23:33:31 · 985 阅读 · 1 评论 -
概率密度估计(Probability Density Estimation)--Part3:混合模型
引入在结束了有参估计,无参估计后,现在记录混合模型(Mixture models)。这里附一张有参和无参的对比图(本来应该附在Part 2的,不想回去改了。。):字面意思,混合模型就是有参模型和无参模型的混合。举个例子,高斯模型的混合(Mixture of Gaussians,MoG)。现有三个高斯模型如下:我们可以将其视为:其概率密度可以近似表示为:p(x)=∑j=1Mp(x∣j)p(j)p(x)=\sum^M_{j=1}p(x|j)p(j)p(x)=j=1∑Mp(x∣j)p(j)原创 2021-07-12 06:00:48 · 1268 阅读 · 0 评论 -
概率密度估计(Probability Density Estimation)--Part 2:无参估计
目录引入直方图(Histograms)KDEParzen WindowGaussian KernelGeneral Formulation – Arbitrary Kernel各种内核的总结高斯核(Gaussian Kernel)Parzen windowEpanechnikov kernel总结KNN(附)作业相关代码引入接上一篇的有参估计,这篇介绍无参估计,也就是说在这里我们事先不知道数据的模型,而要求数据进行划分,这也是实际中比较常见的情况。这主要介绍三种无参估计方法,分别是:1. 直方图(H原创 2021-07-01 06:36:54 · 1484 阅读 · 2 评论 -
MCNemar检测和交叉验证(待完善)
。。。原创 2021-06-27 04:28:43 · 885 阅读 · 0 评论 -
概率密度估计(Probability Density Estimation)--Part 1:参数估计
概率密度的引入当我们有如下的点分布为了能区分它们,我们需要知道这些点的概率分布。常见的有贝叶斯最优分类(Bayes optimal classification),这是基于如下的概率分布:p(x∣Ck)p(Ck)p(x|C_k)p(C_k)p(x∣Ck)p(Ck)其中的先验p(Ck)p(C_k)p(Ck)很容易...原创 2021-06-25 20:02:22 · 1481 阅读 · 0 评论