机器学习
文章平均质量分 81
李攀007
这个作者很懒,什么都没留下…
展开
-
白板机器学习笔记 P60-P65 EM算法
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=46笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/nl8l9lP60 EM算法1 - 收敛性证明EM算法核心思想:是具有隐变量的混合模型的参数估计。本节主要证明了分步迭代更新参数θ时,新的θt+1一定会使X取的比上一步θt更高的置信度P(X|θ)。①:根据极大似然估计列出优化目标P(X|θ.原创 2021-04-11 10:57:49 · 576 阅读 · 0 评论 -
机器学习优化知识
本篇内容零散记录一些机器学习优化方面的小知识,防止遗忘。都是一些有趣的理解,会不定期更新机器学习中的优化算法https://www.bilibili.com/video/BV1uZ4y1u7Ri?t=3131https://zhuanlan.zhihu.com/p/158215009①机器学习=建模+优化+评估②纯优化关注全局最小点,机器学习优化关注局部最小点。因为机器学习更关注泛化误差,纯优化则关注原始误差。如下图所示,训练集和测试集独立同分布,则反映在下图中就表现为数据分布相同但略有错位,原创 2021-03-28 17:54:09 · 341 阅读 · 0 评论 -
白板机器学习笔记 P46-P59 概率图模型
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=46笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/bchg42P46 概率图模型1 - 背景介绍本节内容:前半部分讲了概率模型在面对高维随机变量时的困境:计算复杂度高。为了解决数据集D下的联合概率计算问题P(x1,x2,…,xn),我们要假设一些条件从而简化计算。从样本xi各属性相互独立,到马.原创 2021-03-21 19:05:51 · 935 阅读 · 0 评论 -
白板机器学习笔记 P39-P45 指数族分布
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=39笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/ioggkdP39 指数族分布1 - 背景原创 2021-03-12 09:08:19 · 333 阅读 · 0 评论 -
对最大熵模型为什么要最大化熵的一点理解
参考:https://www.zhihu.com/question/35295907最大熵的哲学思想为:在已知样本情况下,从所有可能的模型中,选择最没有额外假设的那一个,这样经验风险最小(经验风险最小也即因为我们没有额外信息,这样偏离真实模型的可能的距离最小)。对模型训练的理解:给定一个样本X我们要预测Y,首先要明确的是:我们的训练集不可能穷尽所有样本X(如果我们可以穷尽所有的X|Y对应,那么我们就不需要机器学习模型了,我们从数据库检索X对应的Y值即可)。那么也就是说,我们能掌握的是X和Y之间的一.原创 2021-03-12 08:46:12 · 993 阅读 · 0 评论 -
白板机器学习笔记 P36-P38核方法
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=36笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/pdv5ryP36 核方法1 - 背景介绍核心思想:当数据线性可分时,我们用感知机算法和硬间隔SVM等线性分类算法就可以简单的分类;当数据存在个别点不能线性可分时,我们可以引入软间隔或者惩罚项等;但是当数据完全非线性可分时,我们只能考虑:一是用.原创 2021-03-08 19:50:50 · 226 阅读 · 0 评论 -
白板机器学习笔记 P28-P35 支持向量机
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=28笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/pdv5ryP28 支持向量机1 - 硬间隔SVM模型定义超平面的点法式方程:假设平面上一点O为(x0,y0,z0),平面上除了O之外的任一点为(x,y,z),所以从O出发到平面上任一点的向量为(x-x0,y-y0,z-z0)。设平面的法向量.原创 2021-03-06 23:07:14 · 271 阅读 · 0 评论 -
白板机器学习笔记 P22-P27 PCA降维
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=22笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/kg2npfP22 降维1 - 背景本节内容:用 立方体内接球体积占比 和 套球体环形带体积占比 两个例子,从几何角度阐述了维度灾难。维度灾难的几何理解:https://zhuanlan.zhihu.com/p/27488363解决.原创 2021-03-05 11:42:01 · 402 阅读 · 0 评论 -
白板机器学习笔记 P9-P12线性回归
视频地址:https://www.bilibili.com/video/BV1aE411o7qd?p=9笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/mkn2fhP9 线性回归-最小二乘法及其几何意义Loss函数:几何意义:让所有样本的真实值yi和预测值wTxi的平方差之和最小。伪逆X+:把L(w)优化为一个矩阵运算的公式。P10 线性回归-最小二乘法-概率视角-高斯噪声假设.原创 2021-02-19 19:37:34 · 215 阅读 · 0 评论 -
白板机器学习笔记 P3-P8 高斯分布
视频地址: https://www.bilibili.com/video/BV1aE411o7qd?p=3笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/hu0291P3 高斯分布1-极大似然估计高斯分布:本节内容:假设模型分布就是高斯分布,对高斯分布的均值和方差进行了极大似然估计。参数估计的前提是:样本符合独立同分布,也即每个样本都是独立地从一个高斯分布中进行采样的,所以训练集整体发生的.原创 2021-02-19 08:59:48 · 443 阅读 · 0 评论 -
白板机器学习笔记 P13-P21 线性分类
视频地址:https://www.bilibili.com/video/BV1aE411o7qd笔记地址:https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466P13 线性分类1-背景线性回归的特性:(通过打破这些特性就是新的机器学习方法)1、线性:①属性线性:f(w,b)=wTx+b中,f对于w和x都是线性关系。如让f对x不是线性组合关系,可以将x变为多次项,也即多项式回归。②全局线性:直接输出线性组合.原创 2021-02-10 19:25:38 · 318 阅读 · 0 评论 -
理解各种聚类算法的差异
参考 https://blog.csdn.net/weixin_38197294/article/details/82289367感觉上边这篇博客对聚类方法总结的非常好,尤其是他把不同聚类方法的差异总结为两点,一下子把混乱复杂的那么多聚类方法纳入到一个统一的视角下了,非常厉害。我这里把他的大纲摘抄出来便于理解,需要查看具体某一项对应哪些经典算法的,可以到上边链接里去看。聚类算法的差异主要在于两点:一是相似性衡量的标准不一样(同样的两个样本,衡量标准不同显然最后判断出的相似程度也不同。一个算法认为这.原创 2020-12-04 10:43:53 · 2181 阅读 · 0 评论 -
NP问题
记录和分享学习过程参考 https://blog.csdn.net/qq_38228254/article/details/79506479对于输入规模为n的输入,O(nk)表示可以在多项式时间求解,O(2k)则不能在多项式时间求解。如果可以在多项式时间内求解,则一定写成多项式形式。P问题就是可以在多项式时间内求解的;NP问题就是随便给出一个解,可以在多项式时间内验证的,所以P问题属于NP;NP-Complete问题:存在这样一个NP问题,所有的NP问题都可以约化成它。换句话说,只要解决了这个.原创 2020-11-12 07:48:47 · 534 阅读 · 0 评论 -
吴恩达机器学习总结五:单变量线性回归实战
线性回归实战总结: 单变量线性回归: 1、加载和查看数据(准备工作) data = load(‘ex1data1.txt’); x=data(:,1); y=data(:,2); plot(x,y,’rx’,’markersize’,10); xlabel(‘population’); ylabel(‘profit’); ...原创 2018-08-02 20:40:31 · 647 阅读 · 0 评论 -
吴恩达机器学习总结四:Octave语法
第六章Octave语法 基本操作: 1、1 ~= 2判断不相等 2、小写pi表示π 3、A=[1 2;3 4;5 6]分号表示换行 4、D = 1:6就建立一个行向量[1,2,3,4,5,6] 5、E=[1:2:10]指定1-10步长为2,即[1,3,5,7,9] 6、F=ones(2,3)建立一个两行三列的全一矩阵[1 1 1;1 1 1] 7、w=zeros(2,4) 8、h...原创 2018-08-02 20:33:55 · 418 阅读 · 0 评论 -
吴恩达机器学习总结三:多变量线性回归
第五章 多变量线性回归 6、多变量回归方程 矩阵形式: 7、多变量梯度下降法: 这里i表示第i种拟合曲线,因为对一个数据模型进行拟合时我们有很多种曲线作为备选方案,我们一直在做的就是找出其中与真实情况误差最小的曲线。所以先要指定某条拟合曲线,再由此确定它的参数,进而判断是不是最优的,这里的i就指假设拟合的是第i条曲线。下角标j表示拟合曲线的第j个属性,因为这里是多变量拟合,比如...原创 2018-08-01 11:33:41 · 1642 阅读 · 0 评论 -
吴恩达机器学习总结二:单变量线性回归
第二章 单变量线性回归 3、代价函数:(是参数的方程,最常用平方误差代价函数) 定义:也叫损失函数,用来进行参数估计。当用一个确定的方程来拟合一些数据集时,为了保证方程最为合适拟合程度最好,即每一个点的预测值和真实值的差距都要小,故可用求方差的方法,将每一个点的预测值与真实值的差求平方和后再除以数据样本的个数。值越小说明方程越能反映真实情况,把这个方程中的参数看做未知数,则变成了参数的方程...原创 2018-07-31 18:35:37 · 829 阅读 · 0 评论 -
吴恩达机器学习总结一:初识机器学习
第一章 初识机器学习(算法 algorithm) 1、监督学习:人为提供一组数据,已告知输入和期望的正确输出 分类问题:划38线分类 回归问题:(regression problem)拟合预测数值 2、无监督学习:数据特征区分不明显 聚类算法:为一组看似相似的数据分簇,发现其内部结构...原创 2018-07-31 18:29:03 · 305 阅读 · 0 评论