shiyueyue0822的博客

原创 Polya定理

最近为了搞密码学，去看了离散数学的第3和第6部分，即9，10，11和最后一章，已经是第4天了，卡在了10.3polya定理。看了知乎回答https://zhuanlan.zhihu.com/p/80261375才搞明白Polya定理是干嘛的。问题：n颗珠子，m种颜色，串成手串，有几种串法？首先，将珠子编号为1至n, 分析有几种串法。单单分析串法，有中，然而：可知，对同一串珠子进行翻转等操作，结果还是同一手串。这里称为不变点。因此，串法肯定比少。那么一个操作可以有几个不变点？.

原创 频率派与贝叶斯派

=================================================================================================================================================================================================补充：

原创 pytorch中DataLoader使用torchvision.transforms.Lambda进行图片变换时的问题

pytorch中DataLoader使用torchvision.transforms.Lambda进行图片变换时的问题将lambda方法放在外面实现# -*- coding: utf-8 -*-"""# @file name : train_lenet.py# @author : tingsongyu# @date : 2019-09-07 10:08:00# @brief : 人民币分类模型训练"""import osimport randomim

原创 张量

张量是多维数组，是标量、向量、矩阵的高维拓展数据类型Pytorch0.4.0之前的张量数据类型：torch.autograd.Variable,用处：用来封装Tensor,进行自动求导属性：data-----被包装的Tensorgrad-----data的梯度grad_fn:创建Tensor的Function，是自动求导的关键requires_grad:指示是否需要梯度Is_leaf:指示是否是叶子结点（张量）====================...

原创 矩阵分析笔记-初级

链接：https://download.csdn.net/download/shiyueyue0822/12615646

转载 强化学习-基本概念-KL散度

原创 怎么理解傅里叶变换

参考：傅里叶专题1. 函数空间 1.1 函数空间是什么有限维几何向量空间中的向量形式为：长度有限。无限维向量空间（希尔伯特空间）的向量形式为：长度无限，希尔伯特空间满足：,模收敛令希尔伯特空间向量下标为定义域的，向量中的每一个值都为对应的函数值。则希尔伯特空间为函数空间。函数向量的模为：两个函数向量的内积表示为：如果两个函数向量正交，这两个函数...

原创 分布的特征函数

1. 如何理解分布的特征函数？如何确认两个随机变量的分布相同，在不知道这两个随机变量的分布的情况下。根据类比两个背影是否是同一个人，那么对比这两个背影的特征：身高，发色，腰围，。。。那么对比这两个随机变量的分布，我们也要对比他们的特征：一阶距，二阶矩。。。。有没有一个函数可以把这些距都包含起来：有，因此相同 ——》各阶距相同——》各个特征相等——》分布相同2. 1讲了如...

原创 单变量微积分笔记

根本思想是在趋向极限的过程中，以直代曲无穷小的来源和无穷小与极限的关系1. 在极限里的意思是不断缩小的观察范围。不断缩小观察范围，如果提高放大倍数，时间还在观察范围内，这就是收敛的极限。2. 无穷小/大的不是数，而是函数如数列和函数。3. 无穷大意味着没有极限。4. 在自变量的同一变化过程中，如果f(x)的极限是无穷大，那么的极限是无穷小。如果的极限是无穷小，并且,那么的...

原创 VC维

VC维表示1个模型可以打散的空间中的点的最大数量。可以理解为模型的弯曲程度，即复杂度和灵活程度。

原创 概率与统计笔记

这部分数学的基本思想是：在有上帝视角的时候，知道事件发生的分布，计算某些事件发生的概率，及一些分布的特征。在没有上帝视角的时候，靠已知事件发生的频率推断事件的分布类型，或者分布的一些特征1.贝叶斯定理可以根据客观条件看成是对先验概率的不断修正。2. 我们现在使用的概率：将样本空间中的事件映射为随机变量表示的值，用一个函数将事件或随机变量映射到(0,1)之间。3. 伯努...

原创 花书笔记1-数学基础1

1. 极大似然估计因为之前学过李航的那本，所以这里了解的比较好。极大似然估计是当变量服从某一分布时，令情况（数据）出现的概率最大时的参数。设一个变量服从高斯分布。则对n个数据进行似然估计，可以得到如果让这n个数据发生，则这个变量应服从的高斯分布设多元回归的残差服从标准正太分布，则解出来的和最小二乘法得到的是一样的。2. 无约束优化找到函数的最大值或最小值即...

原创 线性代数笔记

求矩阵的秩是要把矩阵转变成为阶梯矩阵形式。方法：通过左乘或者右乘若干个满秩矩阵完成变换。（列变换和行变换） 线性方程组的解可以看成是几个平面的交点，只有一条直线或者一个交点。若有解，只有可能是一个或无限多个。 解的存在性 是否有通过变换为？若在的值域内，则有解，若在值域外，则无解。看是否方法：看，若是，则是的基的线性组合，在值域内，有解；若不是，在值域外，无解； 解的个数...

原创 矩阵求导术的故事

转自知乎，感谢大神长躯鬼侠1. 标量对矩阵的求导2.矩阵对矩阵的求导作为一个数学渣渣，那些能把复杂难懂的数学公式和过程讲的简单易懂的人是我的本命。在机器学习中存在许多求导过程，在论文中推导也是很重要的一环。我花了3天时间阅读并学习了以上两个奇术。为了能完整消化并掌握，我内容写到这里，权当笔记。一. 标量对矩阵求导矩阵导数可以和微分联系起来。微分是矩阵导数和微分矩阵的内积。...

原创 矩阵乘法和相似矩阵

矩阵乘法： 中 A可以做特征值分解，特征向量是该矩阵运动中运动的方向，特征值是运动的速度大小。矩阵乘法就是把后者投影到特征向量构成的基空间中，并进行拉伸，之后再还原到原坐标系中。矩阵乘法也可以理解为：将一个向量映射到新的基构成的空间中，并进行线性变换，再还原到原坐标系中。相似矩阵：在不同基中执行相同线性变换的矩阵迹：方阵对角线之和。特征值之和。相似矩阵的迹是相...

转载 SMO算法

https://blog.csdn.net/luoshixian099/article/details/51227754能看明白是怎么求解的，但是原理不懂。

原创 SVM中令函数间隔等于1的yuanyin

的原因：对于一个的超平面，W和b可以任意缩放，那么一定可以找到一个使。这里是支持向量。（还没有看到这）这时的描述的超平面不变。因此我们可以令。参考资料：https://blog.csdn.net/waho001/article/details/78786796。 感谢感谢waho001同学！...

转载 最大熵模型中的对数似然函数的解释

转自：https://blog.csdn.net/wkebj/article/details/77965714

原创 对偶问题和KKT条件的理解

粗略查了下对偶问题的资料。可以这样理解，对于一个线性规划的标准型（max CX s.t. Ax < b）,它的对偶问题求解的是该标准型解的上限。 在运筹学里标准型可以理解为在若干机器的使用时长限制下，利润的产品怎么生产才能使利润最大化。那它的对偶问题可以理解为如果工厂对外按时长出租这些机器，承租方应该考虑怎么租是成本最低（min bY ）,工厂应该考虑怎么租才能使利润不低于生产产品时的利润。...

原创 pandas 中apply中函数的参数

，这里的n和column都是top函数的参数

原创 朴素贝叶斯，最大后验概率，极大似然估计与贝叶斯估计

朴素贝叶斯是基于最大后验概率来进行预测的。它的参数主要是学习这两个参数主要有极大似然估计和贝叶斯估计两种。极大似然估计是基于频率派。即从一组概率模型中，找到使当前样本发生概率最大的那个模型（模型参数）。最大后验概率/贝叶斯估计假设参数服从某个分布（一般是前面似然函数的共轭先验分布，以方便计算），求出使觫然函数达到最大的参数值。贝叶斯估计最后得到的是有关参数的一个概率分布，最后通过求期...

转载 GBDT原理及和Adaboost的区别

GBDT和Adaboost的区别Adaboost和GBDT都是基于加法模型和前向分步算法。Adaboost用于分类时可以看成基分类器是分类决策树桩，令损失函数为指数函数，通过每一次迭代调整样本权重分布使损失函数达到最小。这里指数函数和分类错误率一般分类器使用的分类函数可以认为是等价的。Adaboost用于回归时基学习器是回归决策树桩，令损失函数为残差。这里为什么不调整权重？GBDT是通过每一步...

原创 Adaboost

Adaboost这种增强学习方法之前是看过很多资料都没看懂，最近看李航的《统计学习方法》和 其他几位同学的博客，才明白了其中的原理。参考资料：https://blog.csdn.net/guyuealian/article/details/70995333 李航的《统计学习方法》什么是增强学习？增强学习即boosting，它的基本思想是集成思...

原创 决策树

决策树的一些优点：易于理解和解释。数可以可视化。 几乎不需要数据预处理。其他方法经常需要数据标准化，创建虚拟变量和删除缺失值。决策树还不支持缺失值。 使用树的花费（例如预测数据）是训练数据点(data points)数量的对数。 可以同时处理数值变量和分类变量。其他方法大都适用于分析一种变量的集合。 可以处理多值输出变量问题。 使用白盒模型。如果一个情况被观察到...

转载 机器学习sklearn中决策树模型参数释义

'''scikit-learn中有两类决策树，它们均采用优化的CART决策树算法。'''from sklearn.tree import DecisionTreeRegressor'''回归决策树'''DecisionTreeRegressor(criterion="mse", splitter="best", ...

原创 PCA算法之特征值分解

奇异值分解和特征值分解都是对矩阵进行分解的不同方法，所谓分解，即使将原矩阵拆分成另一种表达方式，且新的表达方式比原矩阵更简单，更具有实际意义。奇异值分解对象可以使任意n*m维的矩阵，而特征值分解只能针对n*n的方阵，特征值分解从某种意义上来说可以算是奇异值分解的一种特殊情况，所以下面先对特征值分解进行一个描述。对角阵：其实这种矩阵有特殊性，比如除了其主对角线元素外的所有元素都是0，这...

转载 正则化 和 交叉验证

正则化项的作用是选择经验风险与模型复杂度同时较小的模型，防止过拟合，提升模型泛化能力（generalization ability）。PS: 泛化能力：学习模型对未知数据的预测能力称为泛化能力正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值越大。经验风险较小的模型可能比较复杂，含多个非零参数，于是第2项正则化项就会较大。正则化的目的就是为了选择经验风险与模型复杂度同时都比较小的模型。正...

原创 K-Nearest-Neighbours 和 kd 树

什么是KNN？KNN算法是没有学习过程的。它将所有已知数据存储起来，当要预测某一新数据时，使用某种距离度量选择离该新数据在特种空间中最近的K个点，根据分类决策规则，一般是多数投票规则对新数据进行分类。怎样构造KNN：1） 距离度量LP距离。在P=1时是曼哈顿距离，P=2时是欧式距离，P为无穷大时是切比雪夫距离。也可以自己定义距离。2）K值选择K只选择太小，容易过拟合...

原创 感知机

感知机感知机的假想空间在特征空间的所有线性分类器模型 ， 在几何空间就是该特征空间的一系列超平面。 哪个模型比较好（对应的w,b），把空间中点准确分为正负两类的模型是好模型。感知机的作用前提感知机仅作用于线性可分数据集。线性可分数据集的特点是存在超平面将正负分开。如何判定数据集线性可分？答案是使用检查凸包（convex hull）是否相交。用quickhull算法来找到数据...

原创 矩阵相似的本质

有没有人能用人类的语言告诉我，相似矩阵有什么用？ - 马同学的回答 - 知乎 https://www.zhihu.com/question/20501504/answer/174887899矩阵相似的本质是在不同基下的运动矩阵，达到相同的结果。...

原创 矩阵乘法的本质

矩阵乘法的本质是什么？ - 马同学的回答 - 知乎 https://www.zhihu.com/question/21351965/answer/204058188矩阵乘法的本质是在矩阵的作用下运动到矩阵的坐标系的位置，然后又回到地球坐标系。本质上是一种运动。特征向量代表的是矩阵的运动方向，特征值代表的是矩阵的运动速度。...

原创 行列式的本质

行列式的本质是该矩阵在n纬空间的体积对单位体积的伸缩因子，既线性变换的变化率。det(A) = 0 表示A在n维空间是扁的，但它在n-1的维度上是有体积的。行列式的本质...

原创 拉格朗日插值法

拉格朗日插值法

原创 pyplot 画图时怎么设置横坐标的刻度

py.xticks接口

原创 特征选择 ： 最优化搜索 与 特征背后

周一王博士将对船价格影响最大的特征：Fuel180(船用油)价格 和 北方到乍浦（2-3W）神海价格（因为乍浦最靠近目标港口）加入回归模型。 对剩下的80多个特征，我们分别用周三周四的时间各自进行了选择。特征太多。我尝试将p_value&lt;0.05的所有特征放进回归模型，效果并不好。因此，一狠心，做了个遗传算法，将之前选的特征事先跳出来，对剩下的特征进行提取。设置迭代为300代，最后的结果...

原创 MAE、 MAEP 与 R^2

R square只用来评价模型在训练集上的表现。MAE:  1/N * sum(abs(y-y^)),  这个评价与真实值一个量级，表示没预测一次大约误差多少个单位MAEP: 1/N * sum(abs(y-y^)/y), 这个评价的是预测误差与真实值的比例...

原创 特征处理： OneHotEncoder 与 pandas.get_dummies

OneHotEncoder不能直接处理字符串值。 如果你的名义特征是字符串，那么你需要先把它们映射成整数。pandas.get_dummies是相反的。 默认情况下，除非指定了列，否则它仅将字符串列转换为单热表示形式。...

原创 2018_11_16

过去一周多一直在忙项目。时序预测做的效果不好，打算换模型，换成线性回归，特征工程做好一点。最近在看线性回归，慕课波波老师+Kaggle House Price项目。从波波老师讲的来看，线性回归其实很强大，SVM和NN都是他的特例。优点是可解释性强，缺点是参数性方法，要假设服从线性关系。残差要为正态分布，即白噪声，既时序预测中的残差结社。这样提取不了什么信息。从而，目标值也要是正态分布的。使其正...

原创 线性回归

https://github.com/Ana-Shi/helloworld/blob/master/coursera/machine_learning/Linear_Regression.ipynb https://github.com/Ana-Shi/helloworld/blob/master/coursera/machine_learning/Regression_Metrics.i...

原创 2018/11/5总结回顾

昨天白天写了一天的分类评价准则，感觉又在赶作业。晚上看了一点线性回归的东西。基于不同阈值下的混淆矩阵我们可以得到多个评价准则。抄作业：ROC是TPR和FPR的随阈值变化得到的曲线。阈值越小，TPR和FPR越大，阈值越大，TPR和FPR越小。如果在阈值大的时候，FPR很小，但TPR很大，这表示分类正确，没有把正常人预测成病人，而把病人都预测对了。当随机预测时，TPR和FPR是一条y=x的曲线...