![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine_learning
糖糖糖-豆
chemistry_master
展开
-
简易解说拉格朗日对偶
转载自http://www.cnblogs.com/90zeng/p/Lagrange_duality.html=(Lagrange duality)1.原始问题假设是定义在上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题:称为约束最优化问题的原始问题。现在如果不考虑约束条件,原始问题就是:因为假设其连续可微,利用高中的知识,对求导数,然后令导数为0,就可解出最优转载 2017-10-01 21:02:20 · 233 阅读 · 0 评论 -
trace of matrix
trace 的一个十分重要的性质在于线性性,Tr(A+B)=Tr(A)+Tr(B)Tr(cA)=cTr(A)y=Hx+n 1. 基本性质Tr(A)=Tr(A^T) Tr(AB)=Tr(BA) Tr(ABC)=Tr(BCA)=Tr(CAB) 因此如果 A 和 C 互逆的话,三者相乘的 Trace,等于中间方阵的 Trace; 2. 拓展 试证明,注意这里用到一个性质转载 2018-01-25 23:39:15 · 3887 阅读 · 0 评论 -
矩阵的导数与trace
转载https://www.cnblogs.com/crackpotisback/p/5545708.html转载 2018-01-26 00:06:21 · 500 阅读 · 0 评论 -
西瓜书-answer- 第十章 降维与度量学习
http://blog.csdn.net/icefire_tyh/article/details/522430812.令err,err∗分别表示最近邻分类器与贝叶斯最优分类器的期望错误率,试证明:err∗≤err≤err∗(2−|Y||Y|−1∗err∗)。由书226页可知 err=1−∑c∈YP2(c|x) err∗=1−maxc∈YP(c|x) 设c∗=argmaxc∈YP(c|x)转载 2018-01-18 12:46:32 · 1979 阅读 · 0 评论 -
机器学习基础-最大似然估计-贝叶斯模型
什么是参数?在机器学习中,我们经常使用一个模型来描述生成观察数据的过程。例如,我们可以使用一个随机森林模型来分类客户是否会取消订阅服务(称为流失建模),或者我们可以用线性模型根据公司的广告支出来预测公司的收入(这是一个线性回归的例子)。每个模型都包含自己的一组参数,这些参数最终定义了模型本身。我们可以把线性模型写成 y = mx + c 的形式。在广告预测收入的例子中,x 可以表示广告支出转载 2018-01-09 19:55:05 · 1839 阅读 · 0 评论 -
数据的标准化和中心化
简介: 意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。 原理:数据标准化:是指数值减去均值,再除以标准差; 数据中心化:是指变量减去它的均值。 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。在回归问题和一些机器学习算法中,以及训练神经网络的过程中,还有PCA等通常需要对原始数据进行中心化(Zero转载 2018-01-18 00:41:41 · 927 阅读 · 0 评论 -
度量学习
Wikipedia:http://www.cs.cornell.edu/~kilian/research/metric/metric.htmlCMU的Liu Yang总结的关于DML的综述页面。对DML的经典算法进行了分类总结,其中她总结的论文非常有价值,入门读物。:http://www.cs.cmu.edu/~liuy/distlearn.htmECCV 2010的turorial。 htt转载 2018-01-16 11:54:45 · 405 阅读 · 0 评论 -
ID3算法
转载http://blog.csdn.net/acdreamers/article/details/44661149对于决策树来说,主要有两种算法:ID3算法和C4.5算法。C4.5算法是 对ID3算法的改进。Contents 1. 决策树的基本认识 2. ID3算法介绍 3. 信息熵与信息增益 4. ID3算法的C++实现决策树的基本认识决策树是一种依托决策而建立起来的一种树。在机器学习中转载 2017-10-26 21:21:13 · 596 阅读 · 0 评论 -
机器学习实战—笔记-kNN算法
转载+修改1:算法简单描述 给定训练数据样本和标签,对于某测试的一个样本数据,选择距离其最近的k个训练样本,这k个训练样本中所属类别最多的类即为该测试样本的预测标签。简称kNN。通常k是不大于20的整数,这里的距离一般是欧式距离。 K必须为基数2:python代码实现 创建一个kNN.py文件,将核心代码放在里面了。 (1) 创建数据[python] view转载 2017-10-15 22:19:19 · 214 阅读 · 0 评论 -
K近邻算法
转载给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,若这K个实例的多数属于某个类,就把输入实例分入这个类。K值选择K值得选择会对K近邻算法的结果产生重大影响: 若K值较小: 预测结果会对近邻实例点十分敏感,若近邻点恰巧为噪声,那预测就会出错。 若K值较大: 优点转载 2017-10-23 21:01:38 · 404 阅读 · 0 评论 -
gram_matrix
gram_martirx_notes转载 2017-10-01 23:57:26 · 794 阅读 · 0 评论 -
数学基础—ML
转载~http://blog.csdn.net/u010536377/article/details/50252027#常见的算子范数开篇 矩阵知识 Gram矩阵 定理1 向量范数和矩阵范数 常见的向量范数 矩阵范数 常见的矩阵范数 常见的算子范数 凸优化 凸集 凸函数 凸优化问题 仿射函数 拉格朗日对偶性 原始问题 对偶问题 开篇机器学习里面有着众多的数学理论,虽转载 2017-10-01 23:40:04 · 832 阅读 · 0 评论 -
概率基础
机器学习中有关概率论知识的小结一、引言 最近写了许多关于机器学习的学习笔记,里面经常涉及概率论的知识,这里对所有概率论知识做一个总结和复习,方便自己查阅,与广大博友共享,所谓磨刀不误砍柴工,希望博友们在这篇博文的帮助下,阅读机器学习的相关文献时能够更加得心应手!这里只对本人觉得经常用到的概率论知识点做一次小结,主要是基本概念,因为机器学习中涉及概率论的地方,往往知道基本概念就不难理解,后面会不定期转载 2017-10-01 21:04:08 · 2108 阅读 · 0 评论 -
argparse 模块_解析命令行模块
主要的功能是可以让程序使用命令行命令。 专门用来解析命令行 文件名称argparse_test.pyimport argparseparser = argparse.ArgumentParser()parser.add_argument("echo")args = parser.parse_args()print(args.echo)输出:>>>p...原创 2018-05-20 15:35:24 · 186 阅读 · 0 评论