2018年06月_wxn704414736

转载 new与malloc的区别

部分转自http://www.cnblogs.com/ywliao/articles/8116622.html部分转自https://blog.csdn.net/nie19940803/article/details/76358673属性new/delete是C++关键字，需要编译器支持。malloc/free是库函数，需要头文件支持。返回类型new操作符内存分配成功时，返回的...

2018-06-22 10:31:22 215

转载深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

转自https://blog.csdn.net/xianlingmao/article/details/7919597在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸...

2018-06-21 13:56:37 268

原创支持向量机4—序列最小最优化算法

支持向量机的学习问题可以形式化为求解凸二次规划问题。这样的凸二次规划问题具有全局最优解，并且有许多最优化算法可以用于这一问题的求解。但是当训练样本容量很大时，这些算法往往变得非常低效，以致无法使用。所以学习一种快速实现算法——序列最小最优化(sequential minimal optimization, SMO)算法，这个算法1988年由Platt提出。SMO算法是一种启发式算法，其基本思路是：...

2018-06-21 13:51:29 933

原创支持向量机3—非线性支持向量机与核函数

本节叙述非线性支持向量机，其主要特点是利用核技巧（kernel trick）。1、核技巧非线性分类问题是指通过利用非线性模型才能很好地进行分类的问题。非线性问题往往不好求解，所以希望能用解线性问题的方法解决这个问题，所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题。通过解变换后的线性问题的方法求解原来的非线性问题。核函数的定义如下。设χ是输入空间（欧氏空间Rn的子集或离散集合），又H为...

2018-06-21 09:50:38 1068

原创支持向量机2—线性支持向量机与软间隔最大化

线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的。因为这时上述方法中的不等式约束并不能都成立。这时就需要修改硬间隔最大化，使其成为软间隔最大化。假设给定一个特征空间上的训练数据集T={（x1,y1），（x2,y2），...，（xN,yN）}，其中xi∈χ=Rn（R的n次方），yi∈γ={-1,+1}，i=1,2,...,N, xi为第i个特征向量，yi为xi的类标记。再假设训练数据...

2018-06-20 16:32:47 427

原创支持向量机1—线性可分支持向量机与硬间隔最大化

支持向量机（support vector machine, SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。支持...

2018-06-19 11:04:48 1530

转载蒙特卡罗马尔科夫链与Gibbs采样

这几个概念看了挺多遍都还是含混不清，最近看了几篇博客，才算大致理解了一点点皮毛，所以来总结一下。MCMC概述从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。要弄懂MCMC的原理我们首先得搞清楚蒙特卡罗方法和马尔科夫链的原理MCMC(一)蒙特卡罗...

2018-06-15 11:16:38 2901 1

转载 LDA与PCA

主成分分析（PCA）原理总结http://www.cnblogs.com/pinard/p/6239403.html用scikit-learn学习主成分分析(PCA)http://www.cnblogs.com/pinard/p/6243025.html线性判别分析LDA原理总结http://www.cnblogs.com/pinard/p/6244265.html用scikit-learn进行L...

2018-06-13 10:01:57 270

转载常见损失函数

详见https://blog.csdn.net/weixin_37933986/article/details/68488339常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损...

2018-06-06 10:36:07 1854

转载 Adaboost

AdaBoost原理详解详见https://www.cnblogs.com/ScorpioLu/p/8295990.html代码实战之AdaBoost详见https://www.cnblogs.com/ScorpioLu/p/8296561.html

2018-06-06 10:06:48 160

转载 GBDT

推荐GBDT树的深度：6；（横向比较：DecisionTree/RandomForest需要把树的深度调到15或更高）以下摘自知乎上的一个问答（详见参考文献8），问题和回复都很好的阐述了这个参数设置的数学原理。【问】xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度？用xgboost/gbdt在在调参的时候把树的最大深度调成6就有很高的精度了。但是用DecisionT...

2018-06-04 11:43:40 2396

转载 putty使用python模块tkinter显示对话框出现_tkinter.TclError: no display name and no $DISPLAY environment variable

转自https://blog.csdn.net/snailNL/article/details/79170032问题描述： putty不能显示对话框,出现错误提示：_tkinter.TclError: no display name and no $DISPLAY environment variable解决方法下载安装Xming(https://sourceforge....

2018-06-03 20:59:27 2312

转载机器学习(周志华)习题解答4.3: Python小白详解ID3决策树的实现

转自https://blog.csdn.net/thither_shore/article/details/52358174?locationNum=6&fps=1

2018-06-01 11:22:40 985

转载 iris数据集及简介

详见https://blog.csdn.net/java1573/article/details/78865495

2018-06-01 10:32:10 3715

转载 CART决策树

转自https://blog.csdn.net/niuniuyuh/article/details/66478262CART是Classification and Regression Tree的简称，是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。主要由特征选择，树的生成和剪枝三部分组成。它主要用来处理分类和回归问题，下面对分别对其进行介绍。1、回归树：使用平方误差最小准则训...

2018-06-01 10:22:16 4333

wxn704414736的博客