BOTAK

关于拟合问题主要讲述的是机器学习领域中拟合问题的分类以及解决方法

loss function损失函数 loss function：是针对于单个样本而言的，是指一个样本的误差。代价函数 cost function：是定义在整个训练数据集上的，是所有单个样本和损失的平均，目标函数 object function：是指最中要优化的函数，一般而言是经验风险+结构风险（也就是代价函数+正则化项）其中下面的解释yyy代表真实的值，f(x)f(x)f(x)代表模型得出...

主成分分析总体主成分分析定义和导出xxx是mmm维的随机变量，其均值为μ\muμ，协方差矩阵为Σ\SigmaΣ考虑由m维随机变量x到m维随机变量y的线形变换：yi=αiTx=∑k=1mαkixk , i=1,2,...,my_i = \alpha_i^Tx = \sum_{k=1}^m\alpha_{ki}x_k~,~i=1,2,...,myi​=αiT​x=k=1∑...

决策树模型与学习决策树模型叶子结点，内部节点，有向边决策树的if-then规则可以将决策树看作是一个if-then规则的集合，将决策树转换成为if-then规则的过程是由决策树的根结点到叶子结点的每一条路径构建一条规则。决策树与条件概率分布决策树学习训练数据集D={(x1,y1),(x2,y2),...,(xN,yN)}D = \lbrace (x_1,y_1),(x_2,y_2),...

提升方法提升方法是指将弱学习算法提升为强学习算法的统计学习算法。在分类学习中，提升方法通过反复修改训练数据的权值分布，构建一系列的基本分类器（若分类器），并将这些基本分类器线形组合，构成一个强分类器。提升方法Adaboost算法Adaboost算法的特点是通过迭代每次学习一个基本的分类器，每一次的迭代中，提高那些被前一轮分类器错误分类的数据的权值，而降低那些被正确分类数据的权值。最后，Ada...

半监督学习Semi-supervised Learning for Generative ModelLow-density Separation Assumption非黑即白self-traininghard-label vs soft-label（not work）Entropy-based RegularizationSemi-supervised SVMSmoothnes...

马尔可夫链蒙特卡罗法蒙特卡罗法思想：假设概率分布的定义已知，然后通过随机抽样获得概率分布的随机样本，通过得到的随机样本对概率分布的特征进行分析。for example：从随机抽出的样本中计算出样本均值，从而得到总体的期望。蒙特卡罗方法的核心：随机抽样主要有直接抽样，接受-拒绝抽样，重要性抽样随机抽样接受拒绝抽样input：抽样的目标概率分布的概率密度函数p(x)p(x)p(x)o...

SVMSuppot Vector Machine支持向量机有三宝，间隔，对偶，核技巧简而言之，SVM是一个二分类问题模型，总而言之，SVM就是找到一个超平面wTx+bw^Tx+bwTx+b，使得正类wTx+b>0w^Tx+b>0wTx+b>0，相反，负类wTx+b<0w^Tx+b<0wTx+b<0。本质是一个最大间隔分类器。{(xi,yi)},xi∈R,...

核方法kernel method背景kernel method:从思想角度kernel trick:从计算角度kernel function:从模型角度：非线形带来高维转换x−>ϕ(x)x->\phi(x)x−>ϕ(x)从优化角度而言：对偶表示带来内积（SVM）xiTxjx_i^TxjxiT​xj(避免了计算量大的问题)线形可分数据有一点点错误严格非...

要讲述SVD，首先来看一下EVD,也就是特征值分解EVDA是一个m * m的实对称矩阵（即A=ATA = A^TA=AT），那么他可以被分解为如下的形式公式一：A=Q∑QT=Q[λ1...............λ2....................................λn]QTA = Q \sum Q^T = Q \begin{bmatrix} \lambda_1 &a...

摘要hello，又见面了，这次写的是New York university homework4 ，题目是SVM Classifier with different kernels首先，了解一下数据集以及目标Dataset: using the one of most popular classification dataset which is Iris dataset. Iris data...

摘要纽约大学的第二个作业

摘要最近，纽约大学的同学因为学习工作繁忙，让我给他写一次作业，经过这次的作业，我逐渐有点开始明白，美国的教育模式与国内的教育模式真的是有一点差距的，哎，和关系较好的朋友寒王说起这个，我们总结了一下，那就是：有机会还是去外面认识一下差距。ok，下面就开始正文吧。整个项目的步骤首先，这个比较小的项目是我一个下午的时间完成的，时间有点仓促，所以有什么不周到的地方，还请见谅，也很乐意看友们给我指正...

摘要首先回顾一下贝叶斯和逻辑回归贝叶斯∏i=1np(xi∣y=1)p(y=1)−∏i=1np(xi∣y=0)p(y=0)>0\quad \prod_{i=1}^n p(x_i|y=1)p(y=1) \quad - \quad \prod_{i=1}^n p(x_i|y=0)p(y=0) \quad > 0 i=1∏n​p(xi​∣y=1)p(y=1)−i=1∏n​p(xi​∣y...