![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 69
weixin_41923961
哈尔滨工业大学 教授
展开
-
机器学习常见算法分类汇总
从两个方面来给大家介绍,第一个方面是学习的方式,第二个方面是算法的类似性。学习方式根据数据类型的不同,对一个问题的建模有不同的方式。在机器学习或者人工智能领域,人们首先会考虑算法的学习方式。在机器学习领域,有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法,这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。监督式学习:在监督式学习下,输入数据被称为...转载 2018-05-08 21:18:26 · 234 阅读 · 1 评论 -
总结深度学习各种网络结构【更新中...】
CNN:总结:利用权值共享【卷积操作】将神经网络本来的全连接层替换为非全连接层,使输入可以为尺度可变的张量。可用结构:(Max, mean)Pooling:降维;全连接层:分类;GAN:总结:利用两个网络对抗生成模型,生成器与辨别器,生成器输入图像,生成所需图像,辨别器辨别所需图像与生成图像,使生成器的生成图像骗过辨别器。可用结构:CNN;(Recursive)Re...原创 2018-06-10 22:11:49 · 10122 阅读 · 0 评论 -
稀疏贝叶斯学习【Sparse bayesian learning】
参考文献:An Empirical Bayesian Strategy for Solving the Simultaneous Sparse Approximation Problem传统图像恢复,例如用Gaussian 噪声模型+TV正则,使用的是固定参数,且对整个图像参数一致。在压缩感知领域也是如此,(在图像恢复方面有正逆之分,例如稀疏采样MRI CT,利用压缩感知原理恢复出理想图像...原创 2018-08-17 21:35:57 · 18209 阅读 · 8 评论 -
VAE【变分自编码器】
使用通用自编码器的时候,首先将输入encoder压缩为一个小的 form,然后将其decoder转换成输出的一个估计。如果目标是简单的重现输入效果很好,但是若想生成新的对象就不太可行了,因为其实我们根本不知道这个网络所生成的编码具体是什么。虽然我们可以通过结果去对比不同的对象,但是要理解它内部的工作方式几乎是不可能的,甚至有时候可能连输入应该是什么样子的都不知道。解决方法是用相反的方法使用变分...原创 2018-08-08 22:07:23 · 818 阅读 · 0 评论 -
半监督学习【机器学习】
神经网络中,各种AutoEncoder应当是最有效地无监督学习方法,下面是偏向机器学习方面的半监督学习总结,来源周志华的【machine learning】。半监督学习【机器学习】前面我们一直围绕的都是监督学习与无监督学习,监督学习指的是训练样本包含标记信息的学习任务,例如:常见的分类与回归算法;无监督学习则是训练样本不包含标记信息的学习任务,例如:聚类算法。在实际生活中,常常会出现一部分...转载 2018-09-06 20:30:14 · 11307 阅读 · 0 评论 -
HMM隐马尔可夫模型详解
1 隐马尔可夫模型HMM隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理,模式识别等领域得到广泛的应用。当然,随着目前深度学习的崛起,尤其是RNN,LSTM等神经网络序列模型的火热,HMM的地位有所下降。但是作为一个经典的模型,学习HMM的模型和对应算法,对我们解决问题建模的能力提高以及算法思路的拓展还是很好...转载 2018-09-17 23:19:55 · 60260 阅读 · 14 评论 -
K-近邻算法(KNN)概述
K-近邻算法(KNN)概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来,当测试对象的属性和某个训练对象的属性完全匹配时,便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢,其次就是存在一个测试对象同时与多个训练对象匹配,导致一个训练对象被分到了多个类的问题,基于这些问题呢,就产生了KNN。 KNN是通过测量不同特征值之间的距离进行...转载 2018-11-13 18:38:50 · 1443 阅读 · 0 评论 -
总结各类损失函数【修】
损失函数损失函数(Loss function)是用来估量你模型的预测值f(x)f(x)f(x)与真实值 yyy 的不一致程度,它是一个非负实值函数,通常用 L(y,f(x))L(y,f(x))L(y,f(x))来表示。损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项,通常如下所示:θ∗=argmin∑i=1N...原创 2019-01-23 19:05:49 · 3277 阅读 · 2 评论 -
吴恩达CS229速查表
吴恩达在斯坦福开设的机器学习课 CS229,是很多人最初入门机器学习的课,历史悠久,而且仍然是最经典的机器学习课程之一。当时因为这门课太火爆,吴恩达不得不弄了个超大的网络课程来授课,结果一不小心从斯坦福火遍全球,而后来的事情大家都知道了。首先附上 CS229 的课程主页:http://cs229.stanford.edu/该课程对机器学习和统计模式识别进行了广泛的介绍。主题包括:监督学...翻译 2019-02-22 21:09:32 · 489 阅读 · 0 评论 -
生成模型与判别模型
从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi。生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布。能够学习到数据生成的机制。判别模型:学习得到条件概率分布P(y|x),即在特征x出现的情况下标记y出现的概率。数据要求:生成模型需要的数据量比较大,能够较好地估计概率密度;而判别模型对数据样本量的要求没有那么多。两...转载 2019-03-19 23:41:28 · 251 阅读 · 0 评论 -
概率图模型学习笔记:HMM、MEMM、CRF
转载至:https://www.zhihu.com/question/35866596/answer/236886066概率图模型学习笔记:HMM、MEMM、CRF一、Preface二、Prerequisite 2.1 概率图2.1.1 概览2.1.2 有向图 vs. 无向图2.1.3 马尔科夫假设&马尔科夫性2.2 判别式模型 vs. 生成式模型2.3 序列建模三...转载 2019-03-20 17:38:51 · 932 阅读 · 0 评论 -
Kmeans CUDA
1. Kmeans 步骤常规的 Kmeans 步骤:1. 初始化聚类中心2. 迭代1. 计算每个样本与聚类中心的欧式距离2. 根据样本与聚类中心的欧式距离更新每个样本的类标签3. 根据类标签更新聚类中心本文中并行化的 Kmeans 的步骤:初始化每个样本的类标签迭代统计每一类的样本和统计每一类的样本个数计算每一类的聚类中心:样本和 / 样本个数计算每个...转载 2019-05-18 15:01:06 · 1075 阅读 · 2 评论 -
Kmeans++及字典学习
1. Kmeans++Kmeans 中对聚类中心的初始化比较敏感,不同的初始值会带来不同的聚类结果,这是因为 Kmeans 仅仅是对目标函数求近似最优解,不能保证得到全局最优解。在常规的 Kmeans 中,聚类中心的初始化都采用随机初始化的方式,这样会存在一个问题:如果数据在某个部分较密集,那么产生的随机数会以更高的概率靠近这些数据。例如,假设输入数据为: [0.8,0.85,0.9,0....转载 2019-06-14 20:37:58 · 1372 阅读 · 0 评论 -
Adaboost原理和实例
Adaboost算法原理分析和实例转载:http://blog.csdn.net/guyuealian/article/details/70995333资源:【1】http://blog.csdn.net/v_july_v/article/details/40718799 感谢这位博主给出了 Adaboost 算法的原理与推导,本文章很多地方都参考了他的内容【2】http://blog.c...转载 2019-08-31 22:59:01 · 996 阅读 · 0 评论 -
机器学习SVD【二】
本篇的数据和代码参见:https://github.com/stonycat/ML-in-Action 一、开篇:简述SVD应用 利用SVD实现,我们能够用小得多的数据集来表示原始数据集。这样做,实际上是去除了噪声和冗余信息。简而言之,SVD是一种从大量数据中提取主要关键数据的方法。下面介绍几种应用场景: 1、隐性语义索引 最早的SVD应用之一就是信息检索。我们称利用SVD的方法为隐性语义索引(L...转载 2018-06-02 13:46:53 · 325 阅读 · 0 评论 -
机器学习SVD【一】
1. SVD1.1 分解如下图,一个矩阵可以分解为两个方阵和一个对角矩阵的乘积:C = m * n;u = m * m;sigma = m * n;v' = n * n1.2 奇异值sigma是一个对角矩阵,但通常不是方阵。sigma的对角元素被称为奇异值,与特征值类似。因此与PCA类似,我们可以取sigma中最大的k个,来简化数据:u' = m * k;sigma' = k * k;v'' = ...转载 2018-06-02 13:46:25 · 456 阅读 · 0 评论 -
用ADMM求解大型机器学习问题
从等式约束的最小化问题说起: 上面问题的拉格朗日表达式为: 也就是前面的最小化问题可以写为: ...转载 2018-06-02 13:44:00 · 1891 阅读 · 0 评论 -
【Matlab】神经网络工具箱
1 BP神经网络之Outline1.1BP神经网络的结构多层前向网络,又叫多层感知器传递函数:为误差反向传播提供支持各层之间为全连接误差反向传播收敛的重要条件调整权值和偏置是BP网络的算法核心应用实例:样本数据的归一化:代码:*数据前处理并读入% 批量方式训练BP网络,实现性别识别%% 清理clear all clc%% 读入数据xlsfile='student.xls';[data,label]...转载 2018-05-08 21:33:34 · 10387 阅读 · 0 评论 -
最大似然估计【MLE】与最大后验概率【MAP】
最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种参数估计方法,如果不理解这两种方法的思路,很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。但别急,我们先从概率和统计的区别讲起。概率和统计是一个东西吗?概率(probabilty)和统计(s...原创 2018-05-08 21:51:24 · 626 阅读 · 1 评论 -
朴素贝叶斯
Naive BayesBayes’ theorem(贝叶斯法则)在概率论和统计学中,Bayes’ theorem(贝叶斯法则)根据事件的先验知识描述事件的概率。贝叶斯法则表达式如下所示:P(A|B)=P(B|A)P(A)P(B)P(A|B)=P(B|A)P(A)P(B)P(A|B) – 在事件B下事件A发生的条件概率P(B|A) – 在事件A下事件B发生的条件概率P(A), P(B) – 独立事件...原创 2018-05-09 22:38:39 · 377 阅读 · 0 评论 -
神经网络优化算法总结【SGD】---【Adam】
在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯度下降,还是Adam方法?这篇文章介绍了不同优化算法之间的主要区别,以及如何选择最佳的优化方法。什么是优化算法?优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E(x)。模型内部有些参数,是用来计算测试集中目标值Y的真实值和预测值的偏差程度的,基于这些参数,就形成了损失...转载 2018-05-10 23:01:10 · 9492 阅读 · 2 评论 -
逻辑回归(Logistic Regression)
逻辑回归:几乎是一个单个神经元,二分类问题logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。例如,探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例,选择两组人群,一组是胃癌组,一组是非胃癌组,两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌,值为“是”或“否”,自变量就可以包括很...原创 2018-04-27 21:19:54 · 2537 阅读 · 0 评论 -
MNIST手写数字识别【Matlab神经网络工具箱】
MNIST手写数字识别Matlab代码:%Neural Networks Codes will be run on this parttic%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%clcclear allpic1=imread('8.png');pic1=rgb2gray(pi...原创 2018-05-18 23:51:33 · 10884 阅读 · 19 评论 -
总结各类损失函数
由于有些图片挂了,并且CSDN不知道为什么富文本编辑无法显示Latex重新修改后的现地址:https://blog.csdn.net/weixin_41923961/article/details/86615958 1. 损失函数损失函数(Loss function)是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度,它是一个非负实值函数,通常用 L(Y,f(...原创 2018-05-20 15:07:24 · 6260 阅读 · 2 评论 -
深度学习(dropout)
Dropout: Dropout is a radically different technique for regularization. Unlike L1 and L2 regularization, dropout doesn’t rely on modifying the cost function. Instead, in dropout we modify the network ...原创 2018-05-22 00:02:44 · 541 阅读 · 0 评论 -
Learning to see in the dark【SID】论文笔记
整理下最近一篇论文的学习笔记。这是由UIUC的陈晨和Intel Labs的陈启峰、许佳、Vladlen Koltun 合作提出的一种在黑暗中也能快速、清晰的成像系统,让机器“看破”黑暗。以下是论文的主要部分。摘要在暗光条件下,受到低信噪比和低亮度的影响,图片的质量会受到很大的影响。此外,低曝光率的照片会出现很多噪声,而长曝光时间会让照片变得模糊、不真实。目前,很多关于去噪、去模糊、图像增强等技术的...原创 2018-05-27 22:29:51 · 4214 阅读 · 0 评论 -
生成模型与判别模型
一、决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这一模型,对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。 决策函数Y=f(X):你输入一个X,它就输出一个Y,这个Y与一个阈值比较,根据比较结果判定X属于哪个类别。例如两类(w1和w2)分类问题,如果Y大于阈值,X就...原创 2018-05-24 22:10:27 · 257 阅读 · 0 评论 -
【cGAN】conditional生成对抗网络--有代码
author:DivinerShi对抗网络是14年Goodfellow Ian在论文Generative Adversarial Nets中提出来的。 记录下自己的理解,日后忘记了也能用于复习。 本文地址: http://blog.csdn.net/sxf1061926959/article/details/54630462生成模型和判别模型理解对抗网络,首先要了解生成模型和判别模型。判别模型比较...原创 2018-05-24 22:24:17 · 1901 阅读 · 0 评论 -
0、1、2范数与损失函数正则化
原创 2018-05-31 23:33:41 · 2481 阅读 · 0 评论 -
深度森林浅析
深度森林深度学习最大的贡献是表征学习(representation learning),通过端到端的训练,发现更好的features,而后面用于分类(或其他任务)的输出function,往往也只是普通的softmax(或者其他一些经典而又简单的方法)而已,所以,只要特征足够好,分类函数本身并不需要复杂representation learning。目前DL的成功都是建立在多层神经网络的基础上的,...原创 2019-08-31 23:05:31 · 3521 阅读 · 0 评论