qq_39573785的博客

数据集距离矩阵numpy求法公式∵Dij=(xi−xj)(xi−xj)T=ri−2xixjT+rj      (ri=∑jxij2)∴D=r−2XXT+rT\begin{aligned}\because D_{ij}&=(x_i-x_j)(x_i-x_j)^T\\&=r_i-2x_ix_j^T+r_j\;\;\;(r_i=\sum\limits_jx_{ij}^2)\\\therefore D&=r-2XX^T+r^T\end{aligned}∵Dij​∴D​=(xi

【统计学习笔记】支持向量机

【统计学习笔记】拉格朗日乘数法解约束最优化问题1. 拉格朗日函数2. 约束最优化问题2.1 无约束最优化2.2 等式约束最优化2.3 不等式约束最优化1. 拉格朗日函数先考虑一下问题：当ϕ(x,y,z)=0时，求函数F(x,y,z)的极值。当\phi(x,y,z)=0时，求函数F(x,y,z)的极值。当ϕ(x,y,z)=0时，求函数F(x,y,z)的极值。设曲面F(x,y,z)−u=0F(x,y,z)-u=0F(x,y,z)−u=0，随着u的改变，当该曲面与曲面ϕ(x,y,z)=0\phi(x,y,

【统计学习笔记】习题四4.1 朴素贝叶斯概率估计公式a. P(Y=ck)P(Y=c_k)P(Y=ck​)b. P(X(j)=ajl∣Y=ck)P(X^{(j)}=a_{jl}|Y=c_k)P(X(j)=ajl​∣Y=ck​)4.1 朴素贝叶斯概率估计公式a. P(Y=ck)P(Y=c_k)P(Y=ck​)设P(Y=ck)=θP(Y=c_k)=\thetaP(Y=ck​)=θ，进行N次实验，n次Y=ck。则有：L(θ)=θn(1−θ)N−nL(\theta)=\theta^n(1-\theta)^

【统计学习笔记】朴素贝叶斯法class NaiveBayes: def __init__(self): self.model = None # 数学期望 @staticmethod def mean(X): return sum(X) / float(len(X)) # 标准差（方差） def stdev(self, X): avg = self.mean(X) return math.s

【统计学习笔记】习题三k值选择与模型复杂度及预测准确率的关系k值选择与模型复杂度及预测准确率的关系

【统计学习笔记】当k值大于1时，KNN模型对特征空间的划分1. 空间划分2. 区域编号1. 空间划分当k=1时，特征空间中的每一点简单从属于它的最近邻，但是当k>1时，对于空间中的不同点，若它们从属的k个点中有一个点不同，则应被划分到两个区域。2. 区域编号为了给每个区域标号，则需要根据k个点的信息，生成一个唯一编号，与其他区域区分。这里设每个点的标号为n(n为正整数)，则区域编号为：N=∑i=1kn2N=\sum\limits_{i=1}^kn^2N=i=1∑k​n2若不同k个正整

【统计学习笔记】KNN模型算法代码实现模型算法线性扫描计算耗时，当训练数据集大时效率很低。代码实现KNNclass KNN: def __init__(self, X_train, y_train, n_neighbors=3, p=2): """ parameter: n_neighbors 临近点个数 parameter: p 距离度量 """ self.n = n_neighbors

感知机不能表示异或感知机例子样本集线性可分的充要条件：正负类凸壳互不相交

伯努利分布的极大似然估计与贝叶斯估计；极大似然估计是经验风险最小化的特殊情况

【统计学习笔记】最大似然法最大似然原理随机试验有若干个可能的结果，如果在一次试验中结果A发生，而导致结果A发生的原因有很多，在分析导致结果A发生的原因时，使结果A发生的概率最大的原因，推断为导致结果A发生的真实原因。似然函数设X1,X2,⋯ ,XnX_1,X_2,\cdots,X_nX1​,X2​,⋯,Xn​使来自总体X的样本，x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1​,x2​,⋯,xn​是样本观察值，令L(θ)=L(θ;x1,⋯ ,xn)={∏i=1np(xi;θ)当X是离

【统计学习笔记】泛化误差上界1. 泛化误差2. 泛化误差上界1. 泛化误差学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。测试误差是依赖于测试数据集的，泛化误差是理论上的概念，如果学到的模型是f^\hat{f}f^​，那么这个模型对未知数据预测的误差即为泛化误差：Rexp(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dxdy……（1)R_{exp}(\hat{f})=E_P[L(Y,\hat{f}(X))]=\int_{\m

【统计学习笔记】测试误差与正则化方法正则化方法中，结构风险最小的模型就是最佳模型。理想情况下，测试误差最小的模型是最佳模型。测试误差随模型复杂度增加先减小而后增大，但是结构风险不是。正则化方法并不是完美的模型选择方法。...

【统计学习笔记】模型选择方法：正则化与交叉验证正则化交叉验证简单交叉验证S折交叉验证留一交叉验证正则化正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项。正则化项一般是模型复杂度的单调递增函数。正则化一般具有如下形式：min⁡f∈F=1N∑i=1NL(yi,f(xi))+λJ(f)……（1）\min\limits_{f\in\mathcal{F}}=\frac{1}{N}\sum\limits_{i=1}^NL(y_i,f(x_i))+\lambda J(f) ……（1）f∈Fmin​