机器学习
文章平均质量分 88
无所知
Old student
展开
-
机器学习技法 Lecture15: Matrix Factorization
Linear Network Hypothesis推荐系统问题有个经典的给电影评分的预测。还有2006年Netflix的一个比赛:这个问题就是如何从已有的评分数据中推断用户对未知电影的喜好程度。但是首先就有个问题,这个问题中无论用户id还是电影id,都是一个序数的特征,没有实际的数值意义。而我们以前学的模型除了决策树之外都是建立在数值特征上面的:可以通过one-hot编码解决这个问题...原创 2019-01-21 21:57:34 · 301 阅读 · 0 评论 -
机器学习技法 Lecture7: Blending and Bagging
机器学习技法 Lecture7: Blending and BaggingMotivation of AggregationUniform BlendingLinear and Any BlendingBagging(Bootstrap Aggregation)Motivation of Aggregation假设有一堆朋友在预测股市,你需要选择如何听取他们的意见,那么有几种方式:一、选以前说...原创 2018-12-11 16:09:49 · 441 阅读 · 0 评论 -
机器学习技法 作业一
机器学习技法 作业一1 线性软间隔原始问题,有松弛变量。一共N+d+1个变量。2 变化之后发现分割线为z1=4.5z_{1}=4.5z1=4.5。3 用ovxopt手撸一个svm,把系数对应上即可。ovxopt的接口系数与ppt上qp问题系数有正负号的变化,需要注意。起始也可以直接用sklearn的svm来做。选最后一项,代码如下:from cvxopt import solve...原创 2018-12-10 23:03:41 · 1876 阅读 · 0 评论 -
机器学习技法 Lecture8: Adaptive Boosting
机器学习技法 Lecture8: Adaptive BoostingMotivation of BoostingDiversity by Re-weightingAdaptive Boosting AlgorithmAdaptive Boosting in ActionMotivation of Boosting举了个分辨图片是否是苹果的例子,来描述boosting的思想。主要是使用很多个小的...原创 2018-12-14 17:13:03 · 261 阅读 · 0 评论 -
机器学习技法 Lecture5: Kernel Logistic Regression
机器学习技法 Lecture5: Kernel Logistic Regression1. Soft-Margin SVM as Regularized Model2. SVM versus Logistic Regression3. SVM for Soft Binary Classification4. Kernel Logistic Regression1. Soft-Margin SVM...原创 2018-12-03 20:59:38 · 232 阅读 · 0 评论 -
机器学习技法 Lecture4: Soft-Margin Support Vector Machine
机器学习技法 Lecture4: Soft-Margin Support Vector MachineMotivation and Primal ProblemDual ProblemMessages behind Soft-Margin SVMModel SelectionMotivation and Primal ProblemHard-Margin SVM有个缺点那就是它依然会过拟合。原...原创 2018-11-27 11:06:09 · 548 阅读 · 0 评论 -
机器学习技法 Lecture6: Support Vector Regression
机器学习技法 Lecture6: Support Vector Regression1. Kernel Ridge Regression2. Support Vector Regression Primal3. Support Vector Regression Dual4. Summary of Kernel Models1. Kernel Ridge Regression先回忆一下之前讲的...原创 2018-12-04 15:41:08 · 1849 阅读 · 0 评论 -
机器学习技法 Lecture1: Linear Support Vector Machine
机器学习技法 Lecture1: Linear Support Vector MachineLarge-Margin Separating HyperplaneStandard Large-Margin ProblemSupport Vector MachineReasons behind Large-Margin HyperplaneLarge-Margin Separating Hyperp...原创 2018-11-19 15:21:08 · 365 阅读 · 0 评论 -
机器学习技法 Lecture3: Kernel Support Vector Machine
Kernel Trick回顾一下SVM的对偶形式。使用对偶形式的目的是为了拜托映射到新的空间之后假设空间VC维d^\widehat{d}d对于算法的影响。但是进行了对偶之后发现,解对偶的SVM的时候也有跟d^\widehat{d}d有关的计算。如果使用的是简单的二次项映射,那么计算映射之后的向量内积可以使用一种简化的形式:通过简单的变换我们发现能够将这个二次映射之后的内积写为一种更简单的...原创 2018-11-23 17:09:44 · 387 阅读 · 0 评论 -
机器学习技法 作业二
机器学习技法 作业二1 分别对A和B求导即可,记得其中f(x)=sigmoid(x)f(x)=sigmoid(x)f(x)=sigmoid(x)的倒数是f(x)∗(1−f(x))f(x)*(1-f(x))f(x)∗(1−f(x))。选第一个:2 在第一题的基础上继续求导,选第四个:3 在鞍回归里被求逆的矩阵为:所以是NxN。4 将平方形式的loss对应回max形式的,大致画一下就...原创 2018-12-22 16:47:58 · 1316 阅读 · 0 评论 -
机器学习技法 Lecture10: Random Forest
机器学习技法 Lecture10: Random ForestRandom Forest AlgorithmOut-Of-Bag EstimateFeature SelectionRandom Forest in ActionRandom Forest Algorithm回忆一下之前讲的两个算法,bagging与decision tree。它们都有一些aggregation的成分,但是各自...原创 2018-12-28 17:17:47 · 235 阅读 · 0 评论 -
机器学习技法 作业四
机器学习技法 作业四1 计算一次前向加一次后向的总计算次数。网络结构641,前向63+41次,后向4(w2的梯度)+3(隐藏层的delta)+3*6(w1的梯度),一共47次。2 36个隐藏层,每个有一个单元的时候系数最少。46个。要说为啥这样最少也说不上来为啥,大致就是每一层的系数需要相乘,每一个要乘的项越小最后结果越小吧。或者可以编程遍历所有情况计算。3 与上一题相反,让相乘的式子里...原创 2019-01-26 20:02:03 · 1788 阅读 · 1 评论 -
机器学习技法 Lecture14: Radial Basis Function Network
RBF Network Hypothesis回顾使用高斯核函数的SVM算法:高斯核函数也叫作径向基函数。径向是指其只依赖于与某个中心点的距离。基函数是指它是用来作为组合的基础。因此使用高斯核的SVM算法可以看成是挑选出的径向基函数的线性组合:径向基函数的线性组合也叫作RBF网络,因为它与神经网络有一定的相似之处,只要把神经元对应的函数换掉即可:所以历史上RBF网络也是神经网络的一种。...原创 2019-01-21 19:51:15 · 1243 阅读 · 0 评论 -
机器学习技法 Lecture13: Deep Learning
机器学习技法 Lecture13: Deep LearningDeep Neural NetworkAutoencoderDenosing AutoencoderPrincipal Component AnalysisDeep Neural Network再来看一下神经网络的结构。每一层网络都相当于是从数据中提取某种模式特征。至于需要多少层网络多少个神经元,可以从两方面看。主观上看只要按照自己...原创 2019-01-21 09:35:50 · 173 阅读 · 0 评论 -
机器学习技法 Lecture16:Finale
机器学习技法 Lecture16:FinaleFeature Exploitation TechniquesError Optimization TechniquesOverfitting Elimination TechniquesMachine Learning in PracticeFeature Exploitation Techniques用核方法来利用数据的特征,以及对应的算法:...原创 2019-01-25 09:44:06 · 199 阅读 · 0 评论 -
机器学习技法 作业三
机器学习技法 作业三1 gini系数的计算。两者相加为1,换元代入求极值。结果是0.52 继续换元代入,发现第一项跟原来的gini系数形状一样。3 limN→∞(1−1/N)pN=e−plim_{N\rightarrow \infty}(1-1/N)^{pN}=e^{-p}limN→∞(1−1/N)pN=e−p4 最好的情况就是三个g之间错误的例子不重叠,那么Eout(G)E_{o...原创 2019-01-12 22:32:55 · 968 阅读 · 0 评论 -
机器学习技法 Lecture12: Neural Network
机器学习技法 Lecture12: Neural NetworkMotivationNeural Network HypothesisNeural Network LearningOptimization and RegularizationMotivation首先用图示看一下对多个感知机模型进行aggregation之后得到的模型的样子:每个g都对应了一个感知机函数,然后再通过加权求和再...原创 2019-01-11 22:17:22 · 236 阅读 · 0 评论 -
机器学习技法 Lecture11: Gradient Boosted Decision Tree
Adaptive Boosted Decision Tree回忆一下随机森林算法,它是将bagging与decision tree进行结合得到的。那么如果将boosting与decision tree进行结合也能够得到一个新的算法。但是adaboost算法需要每次对样本权重进行更新,这就要求每个基函数也就是单个的决策树能够支持添加样本权重作为参数。对于样本有加权系数的情况,一般是将目标函数中...原创 2019-01-06 23:02:12 · 487 阅读 · 0 评论 -
机器学习技法 Lecture9: Decision Tree
机器学习技法 Lecture9: Decision TreeDecision Tree HypothesisDecision Tree AlgorithmDecision Tree Heuristic in C&RTDecision Tree in ActionDecision Tree Hypothesis目前讲了几种aggregation类型的算法,一大类是有已知的基分类器直接进行...原创 2018-12-25 23:14:14 · 292 阅读 · 0 评论 -
机器学习基石 Lecture16: Three Learning Foundations
机器学习基石 Lecture16: Three Learning FoundationsOccam's RazorSampling BiasData SnoopingPower of ThreeOccam’s Razor奥卡姆剃刀原则:如无必要勿增实体。对这个原则的理解相当于是说,在机器学习里最简单的能够解释数据的模型就是最合理的模型。但是有两个问题,怎么知道一个模型是比较简单的?以及,怎...原创 2018-11-15 10:37:49 · 157 阅读 · 0 评论 -
机器学习技法 Lecture2: Dual Support Vector Machine
机器学习技法 Lecture2: Dual Support Vector MachineMotivation of Dual SVMLagrange Dual SVMSolving Dual SVMMessages behind Dual SVMMotivation of Dual SVM首先回顾上节课讲的SVM,如果把其中的xnx_{n}xn加上一个映射变换,就会得到以下形式的问题:这...原创 2018-11-21 15:40:42 · 167 阅读 · 0 评论 -
机器学习基石 Lecture15: Validation
机器学习基石 Lecture15: ValidationModel Selection ProblemValidationLeave-One-Out Cross ValidationV-Fold Cross ValidationModel Selection Problem目前为止在训练模型的时候我们可以选择的部分已经有很多了,算法、迭代次数、更新步长、映射方式、正则项和正则项系数等等。有这么...原创 2018-11-14 20:59:48 · 270 阅读 · 0 评论 -
机器学习基石 作业二
机器学习基石 作业二计算一下本来预测对与预测错时加上噪音导致的错误率然后相加即可。选择一个λ\lambdaλ的值让μ\muμ的系数为0。根据VC bound 公式带入计算即可,N=46000的时候error最接近0.05。下面的代码可以计算不同的N与目标error之间的差距。def compute(N,err): delta = 0.05 dvc = 10 re...原创 2018-11-11 14:40:08 · 1687 阅读 · 0 评论 -
机器学习基石 Lecture4: Feasibility of Learning
机器学习基石 Lecture4: Feasibility of LearningLearning is Impossible?Probability to the RescueConnection to LearningConnection to Real LearningLearning is Impossible?假设有一个实际的面向人的益智问题,给出上面6个例子,判断下方图形对应的y:...原创 2018-11-07 19:58:18 · 256 阅读 · 0 评论 -
机器学习基石 Lecture8: Noise and Error
机器学习基石 Lecture8: Noise and ErrorNoise and ErrorError MeasureAlgorithmic Error MeasureWeighted ClassificationNoise and Error前面讲的机器学习的学习流程如下图所示:但是这个流程里假设的都是有一个真实的函数fff来生成样本,但是现实中很有可能样本里带有一些噪音,也就是无法单...原创 2018-11-10 17:27:25 · 192 阅读 · 0 评论 -
机器学习基石 Lecture3: Types of Learning
机器学习基石 Lecture3: Types of LearningLearning with Different Output Space $Y$Binary ClassificationMulticlass ClassificationRegressionStructure LearningLearning with Different Data Label $y_{n}$Supervised...原创 2018-11-07 16:14:11 · 328 阅读 · 0 评论 -
机器学习基石 Lecture12: Nonlinear Transformation
机器学习基石 Lecture12: Nonlinear TransformationQuadratic HypothesesNonlinear TransformPrice of Nonlinear TransformStructured Hypothesis SetsQuadratic Hypotheses目前讲解的都是线性的假设,也就是分界面是一个像线一样的边界。从数学上来看就是都有一个s...原创 2018-11-12 23:09:36 · 216 阅读 · 0 评论 -
机器学习基石 Lecture2: Learning to Answer Yes/No
机器学习基石 Lecture2: Learning to Answer Yes/NoPerceptron Hypothesis SetPerceptron Learning AlgorithmGarrantee of PLANon-Separable DataPerceptron Hypothesis Set还是关注是否给客户发信用卡的问题。回顾上节中机器学习的流程,假设已知如下图中的一些客户...原创 2018-11-07 11:29:52 · 213 阅读 · 0 评论 -
机器学习基石 Lecture7: The VC Dimension
机器学习基石 Lecture7: The VC DimensionDefinition of VC DimensionVC Dimension of PerceptronsPhysical Intuition of VC DimensionInterpreting VC DimensionDefinition of VC Dimension上节课所讲的N个样本分成的dichotomies数量,...原创 2018-11-09 16:47:33 · 326 阅读 · 0 评论 -
机器学习基石 Lecture1: The Learning Problem
机器学习基石 lecture1: The Learning ProblemCourse IntroductionCourse DesignWhat is Machine Learning定义Key Essence of Machine LearningApplications of Machine LearningComponents of LearningMachine Learning and...原创 2018-11-06 20:03:51 · 300 阅读 · 0 评论 -
机器学习基石 Lecture9: Linear Regression
机器学习基石 Lecture9: Linear RegressionLinear Regression ProblemLinear Regression AlgorithmGeneralization IssueLinear Regression for Binary ClassificationLinear Regression Problem回到下发信用卡的例子。之前的例子里需要判断的是是...原创 2018-11-11 17:12:00 · 264 阅读 · 0 评论 -
机器学习基石 作业一
机器学习基石 作业一1-5 省略测试N和N+L分别为奇偶的情况。选择两个都是向下取整的。因为DDD中对应的N个例子的结果都和fff一样,因此只有定义域里剩下的L个x对应的结果会有变化,每个都有两种情况,因此选择2L2^{L}2L。选择此项。因为两个算法的结果都只对应了一种可能的真实fff,也就是说假设有N种可能的fff,每个算法的结果都有N-1个对应的错误情况,且每种情况概率相等。因...原创 2018-11-08 14:48:53 · 790 阅读 · 0 评论 -
机器学习基石 Lecture14: Regularization
机器学习基石 Lecture14: RegularizationRegularized Hypothesis SetWeight Decay RegularizationRegularization and VC TheoryGeneral RegularizersRegularized Hypothesis Set今天要讲的是正则化的技术。之前的ppt中有一个经典的使用高次函数导致过拟合的例...原创 2018-11-14 18:47:07 · 240 阅读 · 0 评论 -
机器学习基石 Lecture11: Linear Models for Classification
机器学习基石 Lecture11: Linear Models for ClassificationLinear Models for Binary ClassificationStochastic Gradient DescentMulticlass via Logistic RegressionMulticlass via Binary ClassificationLinear Models...原创 2018-11-12 19:48:45 · 256 阅读 · 0 评论 -
机器学习基石 作业三
机器学习基石 作业三代入计算线性回归得到的映射函数HHH的性质问题。显然映射多次与映射一次效果一样。其它的可以根据HHH的性质,秩为d+1,显然不可逆。特征值的部分不是非常清楚,大概是根据I−HI-HI−H的迹等于N−(d+1)N-(d+1)N−(d+1)得到的。PLA的error的上限。计算一下就知道结果。可微,显然。使用SGD法能够得到PLA的error。SGD法更新公式wt+1=...原创 2018-11-14 11:19:12 · 1822 阅读 · 2 评论 -
机器学习基石 作业四
机器学习基石 作业四1 假设函数空间变小了,固定噪声大体上会变大。因为假设函数与真实函数之间的差距可能变大了。2 从第三项就等于0的假设函数包含于从第四项系数才等于0的。3 直接求导4 因为加正则项相当于对系数加了个限制。如果最优点在那个限制的球内则相等,否则肯定小于不加限制的时候。具体可以看图理解:5 计算即可6.整体过程为,每次随机猜测两种结果,下一轮只再发给上次说准的...原创 2018-11-15 22:20:12 · 929 阅读 · 0 评论 -
机器学习基石 Lecture6: Theory of Generalization
机器学习基石 Lecture6: Theory of GeneralizationRestriction of Break PointBounding Function: Basic CasesBounding Function: Inductive CasesA Pictorial ProofRestriction of Break Point上一个lecture里讲到关于对于给定数量NNN...原创 2018-11-08 23:16:15 · 237 阅读 · 0 评论 -
机器学习基石 Lecture5: Training versus Testing
机器学习基石 Lecture5 Training versus TestingRecap and PreviewEffective Number of LinesEffective Number of HypothesesBreak PointRecap and Preview到上一课为止,讲到了机器学习整体的流程。在假设函数空间HHH大小是有限的而且样本DDD数量NNN足够大时,对于任何的算...原创 2018-11-08 16:47:58 · 259 阅读 · 0 评论 -
机器学习基石 Lecture13: Hazard of Overfitting
机器学习基石 Lecture13: Hazard of OverfittingWhat is Overfitting?The Role of Noise and Data SizeDeterministic NoiseDealing with OverfittingWhat is Overfitting?有时候会发现某些情况下模型对训练数据的拟合很好,但是对于训练数据之外的数据拟合很差。这种情...原创 2018-11-13 22:44:56 · 167 阅读 · 0 评论 -
机器学习基石 Lecture10: Logistic Regression
机器学习基石Lecture10: Logistic RegressionLogistic Regression ProblemLogistic Regression ErrorGradient of Logistic Regression ErrorGradient DescentLogistic Regression Problem假如现在需要预测一个心脏病是否发作的问题,那么这个问题理想的...原创 2018-11-11 22:55:40 · 195 阅读 · 0 评论