- 博客(29)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 把互信息写成KL散度的形式
p(y)p(y)p(y)表示变量y的分布；p(y∣x)p(y|x)p(y∣x)表示已知x的情况下y的分布；KLKLKL表示两个分布之间的差异；ExE_{x}Ex表示按变量x求期望。由此可以看出，互信息其实就是：已知x之后y的分布 和 原始y分布 之间差异的期望。...
2021-11-01 17:07:15
323
原创 直观理解：为什么A为 n 阶满秩方阵时，Ax＝0 只有零解？
本篇博客仅记录一下我个人思考的一点想法，方便以后回顾。并不严谨，希望给大家提供一点直观的理解。通过上边的变形，我们可以看出AxAxAx的本意就是用x=[x1x2...xn]x=[x_{1} x_{2} ... x_{n}]x=[x1x2...xn]作为系数对AAA的列向量[A1A2...An][A_{1} A_{2} ... A_{n}][A1A2...An]进行重新组合得到一个新向量。例如，我们从原点出发，先加上3倍的x轴单位向量[1,0,0][1,0,0][1,0,0]，再加上2.
2021-08-20 15:29:53
10857
4
原创 系统学习傅里叶变换
本篇内容主要记录一下自己学习傅里叶变换的资料，方便回顾。也给要学习傅里叶变换的小伙伴整理一条系统点的路径。可以先学习链接，再看我的笔记，如果有不对的地方请多多指正。1.直观理解傅里叶变换https://zhuanlan.zhihu.com/p/19763358https://www.bilibili.com/video/BV1kX4y1u7GJ/?spm_id_from=333.788.recommend_more_video.22.完整数学推导傅里叶变换https://www.bili.
2021-08-19 19:14:58
543
原创 shapley值法 - 用边际收益衡量每个人的贡献
博弈论中利益分配问题https://www.zhihu.com/question/23180647催化剂对于最终结果的促进作用很大，但是只有催化剂没有原料的情况下，催化剂自身不可能单独得到目标，这样我们就会严重低估催化剂的贡献。shapley value就是为了更客观的评估每个参与成分的贡献。举个不恰当的例子：水分解制氧气 H2O ——> H2+O2只有H2O的情况下单位时间只能得到一份子O2，如果加入Fe进行催化，单位时间能得到五分子O2，显然Fe对于我们生成氧气的贡献非常大。但是.
2021-06-14 20:17:11
877
原创 白板机器学习笔记 P60-P65 EM算法
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=46笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/nl8l9lP60 EM算法1 - 收敛性证明EM算法核心思想：是具有隐变量的混合模型的参数估计。本节主要证明了分步迭代更新参数θ时，新的θt+1一定会使X取的比上一步θt更高的置信度P(X|θ)。①：根据极大似然估计列出优化目标P(X|θ.
2021-04-11 10:57:49
562
原创 机器学习优化知识
本篇内容零散记录一些机器学习优化方面的小知识，防止遗忘。都是一些有趣的理解，会不定期更新机器学习中的优化算法https://www.bilibili.com/video/BV1uZ4y1u7Ri?t=3131https://zhuanlan.zhihu.com/p/158215009①机器学习=建模+优化+评估②纯优化关注全局最小点，机器学习优化关注局部最小点。因为机器学习更关注泛化误差，纯优化则关注原始误差。如下图所示，训练集和测试集独立同分布，则反映在下图中就表现为数据分布相同但略有错位，
2021-03-28 17:54:09
332
原创 白板机器学习笔记 P46-P59 概率图模型
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=46笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/bchg42P46 概率图模型1 - 背景介绍本节内容：前半部分讲了概率模型在面对高维随机变量时的困境：计算复杂度高。为了解决数据集D下的联合概率计算问题P(x1,x2,…,xn)，我们要假设一些条件从而简化计算。从样本xi各属性相互独立，到马.
2021-03-21 19:05:51
923
原创 白板机器学习笔记 P39-P45 指数族分布
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=39笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/ioggkdP39 指数族分布1 - 背景
2021-03-12 09:08:19
314
原创 对最大熵模型为什么要最大化熵的一点理解
参考：https://www.zhihu.com/question/35295907最大熵的哲学思想为：在已知样本情况下，从所有可能的模型中，选择最没有额外假设的那一个，这样经验风险最小（经验风险最小也即因为我们没有额外信息，这样偏离真实模型的可能的距离最小）。对模型训练的理解：给定一个样本X我们要预测Y，首先要明确的是：我们的训练集不可能穷尽所有样本X（如果我们可以穷尽所有的X|Y对应，那么我们就不需要机器学习模型了，我们从数据库检索X对应的Y值即可）。那么也就是说，我们能掌握的是X和Y之间的一.
2021-03-12 08:46:12
980
原创 白板机器学习笔记 P36-P38核方法
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=36笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/pdv5ryP36 核方法1 - 背景介绍核心思想：当数据线性可分时，我们用感知机算法和硬间隔SVM等线性分类算法就可以简单的分类；当数据存在个别点不能线性可分时，我们可以引入软间隔或者惩罚项等；但是当数据完全非线性可分时，我们只能考虑：一是用.
2021-03-08 19:50:50
218
原创 白板机器学习笔记 P28-P35 支持向量机
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=28笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/pdv5ryP28 支持向量机1 - 硬间隔SVM模型定义超平面的点法式方程：假设平面上一点O为(x0,y0,z0)，平面上除了O之外的任一点为(x,y,z)，所以从O出发到平面上任一点的向量为(x-x0,y-y0,z-z0)。设平面的法向量.
2021-03-06 23:07:14
257
原创 白板机器学习笔记 P22-P27 PCA降维
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=22笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/kg2npfP22 降维1 - 背景本节内容：用 立方体内接球体积占比 和 套球体环形带体积占比 两个例子，从几何角度阐述了维度灾难。维度灾难的几何理解：https://zhuanlan.zhihu.com/p/27488363解决.
2021-03-05 11:42:01
387
原创 白板机器学习笔记 P9-P12线性回归
视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=9笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/mkn2fhP9 线性回归-最小二乘法及其几何意义Loss函数：几何意义：让所有样本的真实值yi和预测值wTxi的平方差之和最小。伪逆X+：把L(w)优化为一个矩阵运算的公式。P10 线性回归-最小二乘法-概率视角-高斯噪声假设.
2021-02-19 19:37:34
209
原创 白板机器学习笔记 P3-P8 高斯分布
视频地址： https://www.bilibili.com/video/BV1aE411o7qd?p=3笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/hu0291P3 高斯分布1-极大似然估计高斯分布：本节内容：假设模型分布就是高斯分布，对高斯分布的均值和方差进行了极大似然估计。参数估计的前提是：样本符合独立同分布，也即每个样本都是独立地从一个高斯分布中进行采样的，所以训练集整体发生的.
2021-02-19 08:59:48
434
原创 白板机器学习笔记 P13-P21 线性分类
视频地址：https://www.bilibili.com/video/BV1aE411o7qd笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466P13 线性分类1-背景线性回归的特性：（通过打破这些特性就是新的机器学习方法）1、线性：①属性线性：f(w,b)=wTx+b中，f对于w和x都是线性关系。如让f对x不是线性组合关系，可以将x变为多次项，也即多项式回归。②全局线性：直接输出线性组合.
2021-02-10 19:25:38
305
转载 理解矩阵
理解矩阵一：https://www.cnblogs.com/marsggbo/p/10143065.html①“容纳运动是空间的本质特征。”②““空间”是容纳运动的一个对象集合，而变换则规定了对应空间的运动。”③“在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动，用矩阵与向量的乘法施加运动。”理解矩阵二：https://www.cnblogs.com/marsggbo/p/10143439.html①“矩阵是线性空间中的线性变换的一个描述。在一个线性空间中，只要我们选定一组基，那么对.
2021-01-20 19:19:52
203
转载 交叉熵的本质是极大似然估计
转载自 https://www.zhihu.com/question/65288314/answer/849294209==交叉熵==这东西你如果理解为两个概率分布会发现它就是nonsense，你得把对数里面那个分布理解为真实的随机变量分布，而将对数外面那个理解为观察到的频率。然后你就会发现它就是最最原始的MLE（最大似然估计）套了个时髦的壳而已。比如说现在有一个真实分布为 P(x) 的随机变量，我们对它进行了N次独立同分布实验，对于每个可能的结果x观察到的次数为 N(x) ，那么它的似然值就可以写.
2021-01-14 16:33:22
483
原创 理解各种聚类算法的差异
参考 https://blog.csdn.net/weixin_38197294/article/details/82289367感觉上边这篇博客对聚类方法总结的非常好，尤其是他把不同聚类方法的差异总结为两点，一下子把混乱复杂的那么多聚类方法纳入到一个统一的视角下了，非常厉害。我这里把他的大纲摘抄出来便于理解，需要查看具体某一项对应哪些经典算法的，可以到上边链接里去看。聚类算法的差异主要在于两点：一是相似性衡量的标准不一样（同样的两个样本，衡量标准不同显然最后判断出的相似程度也不同。一个算法认为这.
2020-12-04 10:43:53
2160
原创 理解牛顿法
参考1 https://www.zhihu.com/question/20690553/answer/146104283参考2 https://www.cnblogs.com/gaoxing2580/p/12423432.html先看上边参考链接，下边是我补充的一些想法。补充想法的原因是，参考了很多文章，但理解思路之间差异很大。一半是说几何理解的，即以直代曲，用切线的根去逼近原函数的根。一半是说数学理解的，即用泰勒公式近似，然后进行推导。但是求根用的是一阶导数写出切线，泰勒展开又要展成二阶导数，让我.
2020-11-21 08:26:48
341
原创 梯度为什么是函数增加最快的方向
参考 https://zhuanlan.zhihu.com/p/38525412在神经网络梯度下降算法中，我们潜意识就会默认梯度的反方向是Loss下降最快的方向，那么如何证明呢？首先回顾一点基础知识(为方便理解，多元函数我们就用二元函数举例。注意这里的二元指的是自变量的个数，即X、Y都是自变量。f(X,Y)是因变量，你也可以把它理解成Z。整个二元函数是发生在三维空间中的，是一个曲面。我们探讨函数f(X,Y)在(X0,Y0)点处变化时，指的是自变量X、Y在XOY这个投影平面内的变化。先说这么多，方便后.
2020-11-20 16:48:28
2708
原创 pytorch对数据集进行重新采样
背景：当不同类型数据的数量差别巨大的时候，比如猫有200张训练图片，而狗有2000张，很容易出现模型只能学到狗的特征，导致准确率无法提升的情况。这时候，一种可行的方法就是对原始数据集进行采样，从而生成猫、狗图片数量接近的新数据集。这个新数据集中可能猫、狗图片都各有500张，其中猫的图片有一部分重复的，而狗的2000张图片中有一部分没有被采样到，但是这时候新数据集的数据分布是均衡的，就可以比较好的训练了。操作方法：我们知道pytorch训练一般都是用的DataLoader加载数据的，我们可以通过给Da
2020-11-13 22:44:00
6870
2
原创 信息量和互信息
记录学习分享理解信息量https://blog.csdn.net/tsyccnh/article/details/79163834自信息量：-I(xi) = -log( P(xi) )信息熵：(自信息量的期望）H(X) = -∑P(xi) * log( P(xi) )条件熵：（条件信息量的期望。前边是xi和yj同时发生的概率，就是求期望）H(X|Y) = -∑P(xi, yj) * log( P(xi | yj) )联合熵：H(X, Y) = -∑P(xi, yj) * log.
2020-11-12 15:51:07
3987
原创 泰勒展开的理解
记录学习分享参考 https://www.zhihu.com/tardis/sogou/qus/25627482仿造的过程：由整体到局部，由大面到细节。先在整体上相似，然后在越来越细微的局部上相似，最终连很细微的局部都相似之后，就实现了仿真。泰勒展开的目的： 就是将sin(x)、ex等不易求解的函数近似成多项式函数形式 a0+a1x1+a2x2+…，这样就可以方便的代数求解。所以泰勒展开的过程就是用多项式函数仿造原始函数的过程。泰勒思考仿造的过程也是从全局相似逐步到细节相似，一阶导数影响最大，二.
2020-11-12 09:14:45
4037
3
原创 NP问题
记录和分享学习过程参考 https://blog.csdn.net/qq_38228254/article/details/79506479对于输入规模为n的输入，O(nk)表示可以在多项式时间求解，O(2k)则不能在多项式时间求解。如果可以在多项式时间内求解，则一定写成多项式形式。P问题就是可以在多项式时间内求解的；NP问题就是随便给出一个解，可以在多项式时间内验证的，所以P问题属于NP；NP-Complete问题：存在这样一个NP问题，所有的NP问题都可以约化成它。换句话说，只要解决了这个.
2020-11-12 07:48:47
524
原创 吴恩达机器学习总结五：单变量线性回归实战
线性回归实战总结： 单变量线性回归： 1、加载和查看数据（准备工作） data = load(‘ex1data1.txt’); x=data(:,1); y=data(:,2); plot(x,y,’rx’,’markersize’,10); xlabel(‘population’); ylabel(‘profit’); ...
2018-08-02 20:40:31
633
原创 吴恩达机器学习总结四：Octave语法
第六章Octave语法 基本操作： 1、1 ~= 2判断不相等 2、小写pi表示π 3、A=[1 2;3 4;5 6]分号表示换行 4、D = 1:6就建立一个行向量[1,2,3,4,5,6] 5、E=[1:2:10]指定1-10步长为2，即[1,3,5,7,9] 6、F=ones(2,3)建立一个两行三列的全一矩阵[1 1 1;1 1 1] 7、w=zeros(2,4) 8、h...
2018-08-02 20:33:55
410
原创 吴恩达机器学习总结三：多变量线性回归
第五章 多变量线性回归 6、多变量回归方程 矩阵形式： 7、多变量梯度下降法： 这里i表示第i种拟合曲线，因为对一个数据模型进行拟合时我们有很多种曲线作为备选方案，我们一直在做的就是找出其中与真实情况误差最小的曲线。所以先要指定某条拟合曲线，再由此确定它的参数，进而判断是不是最优的，这里的i就指假设拟合的是第i条曲线。下角标j表示拟合曲线的第j个属性，因为这里是多变量拟合，比如...
2018-08-01 11:33:41
1631
原创 吴恩达机器学习总结二：单变量线性回归
第二章 单变量线性回归 3、代价函数：（是参数的方程，最常用平方误差代价函数） 定义：也叫损失函数，用来进行参数估计。当用一个确定的方程来拟合一些数据集时，为了保证方程最为合适拟合程度最好，即每一个点的预测值和真实值的差距都要小，故可用求方差的方法，将每一个点的预测值与真实值的差求平方和后再除以数据样本的个数。值越小说明方程越能反映真实情况，把这个方程中的参数看做未知数，则变成了参数的方程...
2018-07-31 18:35:37
814
原创 吴恩达机器学习总结一：初识机器学习
第一章 初识机器学习（算法 algorithm） 1、监督学习：人为提供一组数据，已告知输入和期望的正确输出 分类问题：划38线分类 回归问题：（regression problem）拟合预测数值 2、无监督学习：数据特征区分不明显 聚类算法：为一组看似相似的数据分簇，发现其内部结构...
2018-07-31 18:29:03
285
李航统计学习方法带目录
2019-03-29
算法导论课后习题完整答案
2019-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人