机器学习
文章平均质量分 89
Raywit
这个作者很懒,什么都没留下…
展开
-
迁移学习——域自适应
Domain Adaptation 1. 源域与目标域区别在哪? 2. 不同的域自适应方法 Reference 含义:在经典的机器学习中,当 源域 和 目标域 数据分布不同,但是两者的任务相同时,这种 特殊 的迁移学习就是域自适应(Domain Adaptation) 上面含义若看不太懂,简要解释如下:我们一般都是假设原创 2020-07-07 16:01:19 · 18093 阅读 · 2 评论 -
BP算法(李宏毅课堂笔记)
BP算法1. GD算法2. Forward pass3. Backward pass1. GD算法 首先,简要回忆一下GD梯度下降算法: &原创 2020-06-11 17:48:13 · 992 阅读 · 0 评论 -
机器学习(六)PCA---PCA原理解析
PCA的变换矩阵就是协方差矩阵; 问题则转化为: &n...原创 2020-04-27 11:29:49 · 926 阅读 · 0 评论 -
机器学习(六)PCA---K-L变换
K-L变换 是最优正交线性变换,其对应的特征提取方法被称为 PCA方法,PCA是一种无监督的特征变换,进行特征降维变换,不能完全地表示原有的对象,而K-L变换能够考虑到不同的分类信息,实现有监督的特征提取。特征提取 即用映射(或变换)方法把原始特征变换为较少的新特征。 Eg. 对于一个...原创 2020-04-27 10:35:34 · 3059 阅读 · 0 评论 -
机器学习(五)监督学习---Gradient Boosting
Gradient Boosting 是结合了 传统Boosting 以及 梯度下降 思想。 1. Gradient Descent 对于这一部分可以参考下 机器学习之GD、SGD,写的比较详细。 &n...原创 2020-04-26 17:18:38 · 1005 阅读 · 0 评论 -
机器学习(五)监督学习---AdaBoost
AdaBoost 是基于"加性模型" (additive model) ,即基学习器的线性组合。样本权重Dt(i) 越大,说明分类器对这个样本分类应该更准确,注意,一定要将样本权重和分类器权重区分开来。用全部数据先获得第一个弱分类器,然后再更新,获得第二个,依次向下,迭代T次,最后线性组合获得最终强分类器。...原创 2020-04-24 14:48:50 · 1207 阅读 · 0 评论 -
机器学习(五)监督学习---集成学习基本概念
集成学习基本了解1. 为什么需要集成学习2. Bagging 基本概念: 给定我们一个原始训练样本集,我们将其拆分为多份,分别对每份样本集建立一个分类器(一般是弱分类器),分类器之间相互独立,最后再将分类器进行结合,因此 集成学习 有时候被称为 多分类器系统。 &...原创 2020-04-24 11:16:06 · 1716 阅读 · 0 评论 -
机器学习(四)监督学习---非线性SVM
前言: 在前面的笔记中,我们使用的训练样本是线性可分的,即存在一个线性最优超平面能将训练样本正确分类。 若样本是非线性如何处理呢?  ...原创 2020-04-23 20:40:02 · 1014 阅读 · 0 评论 -
机器学习(四)监督学习---线性支持向量机SVM
前言: 回顾下之前所说的线性分类器: Q1: 但是对于wx+b=0这条直线有多种选择,Which is best? &...原创 2020-04-23 19:45:11 · 1102 阅读 · 0 评论 -
机器学习(四)监督学习---拉格朗日乘子法
Q1: 对于一个有 n 个变量与 k 个约束条件的最优化问题转换为一个有 n + k 个变量的方程组的极值问题,其变量不受任何约束,这样如何解决? 拉格朗日乘子法 ...原创 2020-04-23 11:28:21 · 1230 阅读 · 0 评论 -
机器学习(四)监督学习---NN、KNN
前言: 我们所了解的监督学习有以下多种,希望都能了解与运用。 最近邻与K近邻(NN、KNN) K近邻...原创 2020-04-08 16:12:12 · 2461 阅读 · 0 评论 -
机器学习(三)回归问题之Robust Regression
我们知道最小二乘法的 误差函数 是 均方L2范数,接下来则是讨论 为什么均方回归会对异常点outliers敏感 以及 有没有更好的误差函数使得更好的处理outliers? &nb...原创 2020-04-08 14:08:07 · 3770 阅读 · 0 评论 -
机器学习(三)随机取样一致RANSAC
随机取样一致 RANSAC (Random Sample Consensus)。能从包含“异常点”的数据集中,通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果;为了提高概率必须提高迭代次数。随机选取 s 个点 (如果是线性拟合,估...原创 2020-04-07 20:27:22 · 815 阅读 · 0 评论 -
机器学习(三)类别不平衡问题
类别不平衡问题 1. Threshold-moving 2. Over-sampling 3. Under-sampling 4. 加权损失函数 前言: 之前所说的分类学习方法都是基于训练样本比例大致相同,不同类别之间样本数目相差不大的情况,但若差别很大,例如有 985 个反...原创 2020-04-07 16:02:00 · 2090 阅读 · 1 评论 -
机器学习(三)回归问题之对数几率回归
对于二分类任务,其输出的标签 y∈{0,1}y\in \{0, 1\}y∈{0,1},而线性回归模型产生预测值 z=wTx+bz=w^{T}x+bz=wTx+b是一个实数,因此需要通过一个模型映射到 0/1值,此时最理想的是“单位阶跃函数”,如下图: ...原创 2020-04-06 18:56:00 · 1427 阅读 · 0 评论 -
机器学习之Huber loss
Huber Loss 是用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。当预测偏差小于 δ 时,它采用平方误差,当预测偏差大于 δ 时,采用的线性误差。具体定义如下:  ...原创 2020-04-03 20:12:34 · 2957 阅读 · 0 评论 -
机器学习(三)回归问题之线性回归
回归问题1. 线性回归 假定示例 x 有 d 个属性,则 x 可以表示成 x = (x1; x2; … ; xd),其中 xi 是 x 的第 i 个属性上的取值,此时构建个线性模型来进行预测的函数,即 &n...原创 2020-03-31 21:59:31 · 936 阅读 · 0 评论 -
机器学习之GD、SGD
机器学习之GD、SGD1. 梯度下降法 GD2. 随机梯度下降法 SGD 1. 梯度下降法 GD 2. 随机梯度下降法 SGDSGD和之前的GD区别在于,GD是对函数进行求导,对整个训练集每个样本来计算,但是SGD则是对一个或者多个样本来操作,例如有10000个样本,但每次只对100个或1000个来计算梯度,从而更新参数;SGD存在一个弊端:因为求得的梯度...原创 2020-03-31 21:58:49 · 2045 阅读 · 0 评论 -
计算方法(向量/矩阵微分)
计算方法1. 向量乘积的微分2. 向量与矩阵乘积的微分3. 矩阵范数的微分f(x)=(x,a)=aTx=xTa 因此dfdx=af(x)=(x,a)=a^{T}x=x^{T}a\ \ \ \ 因此\frac{df}{dx}=af(x)=(x,a)=aTx=xTa 因此dxdf=af(x)=x...原创 2020-03-27 12:42:58 · 3412 阅读 · 0 评论 -
机器学习(二)贝叶斯分类(下)
朴素贝叶斯1. 朴素贝叶斯核心理解2. 拉普拉斯平滑处理 ...原创 2020-03-19 11:57:19 · 684 阅读 · 0 评论 -
机器学习(二)贝叶斯分类(上)
贝叶斯分类1. 最小错误率贝叶斯2. 极大似然估计3. 最小风险贝叶斯 对分类任务来说,在所有相关概率都己知的理想情形下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记.下面我们以多分类任务为例来解释其基本原理: &nb...原创 2020-03-18 20:24:20 · 1139 阅读 · 0 评论 -
机器学习(一)模型评估与选择(下)
模型评估与选择1. 性能度量1.1. 错误率与精度1.2. 查准率、查全率与F11.3. ROC与AUC2. 方差、噪声和偏差 1. 性能度量 性能度量 是衡量模型泛化能力的评价标准,对模型泛化评估时,不仅需要有效的实验估计方法,还需要评价标准,这就是性能度量,具体有错误率...原创 2020-03-17 22:57:05 · 777 阅读 · 0 评论 -
机器学习(一)模型评估与选择(上)
模型评估与选择1. 误差与过拟合1.1. 误差及其类型1.2. 过拟合/欠拟合2. 评估方法 1. 误差与过拟合 我们在训练模型上,希望泛化误差越小越好,在模型选择上,我们则需要从这三个方面:评估方法、性能度量、比较验证 来考虑,最后选出最优模型。 1.1. ...原创 2020-03-17 20:24:42 · 1850 阅读 · 1 评论