- 博客(80)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 机器学习教程 之 半监督学习 基于图正则项的半监督极限学习机
半监督学习是指在模型训练阶段同时利用有标签数据和无标签数据。我之前介绍过的半监督学习方法包括基于分歧的半监督学习方法机器学习教程 之 半监督学习 Tri-training方法 (论文、数据集、代码)机器学习教程 之 半监督学习 Co-training 协同训练 (论文、算法、数据集、代码)机器学习教程 之 半监督学习 Coreg 协同回归算法 (论文、算法、数据集、代码)基于图的半监督学习方法DeepLearning | 图注意力网络Graph Attention Network（GAT）论文
2020-06-27 15:07:32
3045
18
原创 DeepLearning | Zero Shot Learning 零样本学习 零样本工业故障诊断
本文是对浙江大学工业过程国家重点实验室赵春晖课题组最新论文：Fault Description Based Attribute Transfer for Zero-Sample Industrial Fault Diagnosis, IEEE TII, 2020 的翻译与解读，全文阅读约10～20分钟。目录Abstract一、Introduction二、Problem Formulation2....
2020-04-19 17:14:29
8879
19
原创 DeepLearning | 快速梯度符号法(FGSM)生成对抗样本(Adversarial Examples)的原理与python实现
最近基于对抗样本做了一些工作，这里写一篇论文介绍对抗样本基本的原理和生成方法。内容上参考Goodfellow的论文 Explaining and Harnessing Adversarial Examples一、什么是对抗样本？对抗样本的概念最早提出于2014年Szegedy的论文 Intriguing Properties of Neural Networks. 在论文，作者发现了一种有趣的...
2019-06-28 21:26:20
8389
原创 DeepLearning | Zero Shot Learning 零样本学习（扩展内容、模型、数据集）
之前写过一篇关于零样本学习的博客，当时写的比较浅。后来导师让我弄个ppt去给本科生做一个关于Zero Shot Learning 的报告，我重新总结了一下，添加了一些新的内容，讲课的效果应该还不错，这里就再写一篇作为相关内容的扩展一、预备知识及问题陈述1.1 预备知识-计算机视觉里的识别问题为了方便介绍我们的零样本问题，这里先简单介绍一下计算机视觉里我们通常所指的识别问题的论文，总的来说这个方向还是有一些前人的工作的，不过有些内容个人觉得确实有些不太靠谱和跑偏，找了两篇我个人认为思路比较清晰和实用的论文，在这里介绍一下关于Zero Shot Learning的基本问题，思路以及方法算是科普性的文章一篇是 Lampert 2009年在CVPR上发表的 Learning to Dete...
2018-08-24 23:11:44
15579
2
原创 机器学习教程 之 梯度提升方法：GBDT处理分类问题
Gradient boosting是一种广泛被用于回归、分类和排序任务的集成方法，于2001年被Friedman提出 该类算法通过以上一轮基学习器的误差的负梯度为训练目标训练本轮的基学习器，不断降低集成模型在训练集上的偏差实现高精度的集成 基于Gradient Boosting算法的学习器被称为Gradient Boosting Machine（GBM），如果说AdaBoost是boostin...
2018-06-12 21:33:23
7472
14
原创 DeepLearning | Broad Learning System 宽度学习系统 : 高效增量式浅层神经网络
Broad Learning System (BLS，宽度学习系统)是澳门大学的陈俊龙教授在2017年TNNLS上基于随机向量函数链接神经网络(RVFLNN)和单层前馈神经网络(SLFN)提出的一种单层增量式神经网络。这个模型相比于传统的深层网络模型，它在保证一定精度的同时，具有快速、简洁，同时支持增量式的在线模型更新等比较好的性质。我在复现以后发现模型在一些数据集上的表现确实是不错的，在与陈教授...
2018-06-05 09:09:49
17734
72
原创 机器学习教程 之 随机森林： 算法及其特征选择原理
随机森林是集成学习bagging类方法的一种，也是最早的集成学习算法之一，Breiman在2001年提出了这种方法。作为一种bagging类的方法，随机森林几乎可以在绝大多数的数据集上表现出比单独的决策树更好的性能，同时随机森林本身也可以作为一种特征选择的方法。称为迄今为止最著名的算法之一。
2018-04-30 22:28:21
20358
5
原创 机器学习教程 之 梯度提升方法：GBDT及其扩展模型XGBoost
Gradient boosting是一种广泛被用于回归、分类和排序任务的集成方法，于2001年被Friedman提出 该类算法通过以上一轮基学习器的误差的负梯度为训练目标训练本轮的基学习器，不断降低集成模型在训练集上的偏差实现高精度的集成 基于Gradient Boosting算法的学习器被称为Gradient Boosting Machine（GBM），如果说AdaBoost是boostin...
2018-04-29 16:06:59
9111
2
原创 机器学习教程 之 参数搜索：GridSearchCV 与 RandomizedSearchCV || 以阿里IJCAI广告推荐数据集与XGBoostClassifier分类器为例
在使用一些比较基础的分类器时，需要人为调整的参数是比较少的，比如说K-Neighbor的K和SVM的C，通常而言直接使用sklearn里的默认值就能取得比较好的效果了。 但是，当使用一些大规模集成的算法时，参数的问题就出来了，比如说 XGBoost的参数大概在20个左右，GBDT的参数个数也在同一个级别，这种时候，会调参和不会调参在同样的数据集上效果可能就是两码事了。这里借着做阿里天池大赛的机会...
2018-04-03 20:51:24
7411
2
原创 DeepLearning | Batch Generator：Tensorflow的大规模数据集导入
Tensorflow 作为主流的深度学习框架，初学者们根据教程一步一步的敲代码是十分方便，封装的非常好。但是说实话，这种过度的封装在一定阶段真的让人非常抓狂，尤其是在自己写一个小例子的时候，很多时候会发现难以下手。官方教程和各种书上也总是拿MNIST和CIFAR_10这种处理好的数据集说事。没有办法查看底部细节，对于还不太了解这个框架的初学者来说，完全不知道三维的图片数据集是如何输入的。我在这里折...
2018-03-26 15:29:40
7872
3
原创 机器学习教程 之 慢特征分析：时序特征挖掘
慢特征分析（slow feature analysis,SFA）是 wiskott 在2002年的一篇论文里提出来的无监督学习方法,它可以从时间序列中提取变化缓慢的特征，被认为是学习时间序列最显著特征的一种方法。这里只讲述SFA应用于线性问题时的模型和解法，其对于非线性问题的应用，是基于线性模型并结合核函数来进行优化的
2018-02-24 22:56:01
11893
原创 人工智能里的数学修炼 | 矩阵的花样分解：特征值分解（EVD）、相似对角化、QR分解、Schur分解、奇异值分解（SVD）的概念纠缠与详解
在高等代数里，矩阵分解是一个十分基础与重要的内容，任何一个学校对于理工科的研究生教育都会开设相应的课程，如：矩阵分析、矩阵论、线性系统等。看了不少社区的问答、笔记和博客，在它们的基础上加入一些自己的理解，写下这篇概念详解,博客中借鉴了不少前人的观点，这里感谢他们的付出
2017-11-06 14:32:33
12976
原创 机器学习教程 之 独立成分分析：PCA的高阶版
有好些天没写博客了，最近一直忙着在看论文，解模型，着实有点头痛。今天趁着又到周末了更一帖（其实是模型解不下去了…），这次来说一下一个在信号分析与数据挖掘领域颇为使实用的算法，独立成分分析（ICA），这个算法的求解方式会让人决定新奇而有所启发，可能会给你带来新的思路，这一篇算法已经有很多大神写过了，比如： http://blog.csdn.net/neal1991/article/details/4
2017-10-20 11:28:34
6574
11
原创 机器学习算法岗面经 | 优化方法总结对比：SGD、Momentum、AdaGrad、RMSProp、Adam
A. Stochastic Gradient Descent 随机梯度下降随机梯度下降,每一次迭代计算数据集的mini-batch的梯度,然后对参数进行跟新。θ=θ−α▽θJ(θ)\theta = \theta - \alpha\bigtriangledown_{\theta}J(\theta)θ=θ−α▽θJ(θ)Batchsize是算法设计中需要调节的参数，较小的值让学习过程收敛更快，但是产生更多噪声；较大的值让学习过程收敛较慢，但是可以更准确的估计误差梯度的方向。B. Momentum 动量梯
2020-08-20 14:46:25
1043
原创 DeepLearning | 图卷积网络基于拓扑结构的分类（T-GCN）
最近看了些图神经网络方面的论文，发现这几年这方面的文章虽然很多，但是各类方法在几个benchmark数据集上的准确率并没有很明显的提升。看了10来篇论文后，找了一个实现相对简单，性能还算可以的方法介绍给大家之前写过几篇关于图神经网络的论文解析和复现DeepLearning | 图注意力网络Graph Attention Network（GAT）论文、模型、代码解析DeepLearning | 图卷积神经网络(GCN)解析(论文、算法、代码)今天介绍的是2020年ICLR最新的论文Topologic
2020-06-27 12:18:34
3997
3
原创 机器学习教程 之 半监督学习 Coreg 协同回归算法 (论文、算法、数据集、代码)
这篇博客介绍的是一篇用于半监督回归问题的方法：Semisupervised Regression withCotraining-Style Algorithms。 这是周志华老师在2007年较早的一篇文章，其特点在于，大多数半监督的算法都是用于分类问题的，而Coreg则以相对较简单的方式实现了半监督的回归。之前还写过两篇半监督分类的算法，见机器学习教程 之 半监督学习 Co-training， 以及机器学习教程 之 半监督学习 Tri-training此外，一些图模型也可以用于半监督的分类和回归
2020-05-30 18:29:20
6855
7
原创 机器学习教程 之 半监督学习 Co-training 协同训练 (论文、算法、数据集、代码)
这篇博客介绍的是一篇用于半监督分类问题的方法: 协同训练 Co-training， A. Blum and T. Mitchell, “Combining labeled and unlabeled data with co-training,” in Proc. of the 11th Annual Conf. on Computational Learning Theory, 1998.，这算是半监督领域里面始祖级的论文了，是1998年两位CMU大佬提出的方法。之前还写过一篇关于Tri-trainin
2020-05-24 19:09:10
14330
6
原创 重磅 ！ CVPR2020最新计算机视觉论文代码分类打包下载
日前，计算机视觉三大顶会之一CVPR2020接收结果已经公布，一共有1470篇论文被接收，接收率为22%，相比去年降低3个百分点，竞争越来越激烈。这里和大家分享整理的论文和代码资源，文末有资源的打包下载链接。目录一、CVPR 2020二、 CVPR 2020论文分类目标检测图像分割人脸识别目标跟踪三维点云&重建姿态估计GAN小样本&零样本弱监督&无监督神经网络模型加速视觉...
2020-04-15 13:14:01
3533
原创 DeepLearning | 图注意力网络Graph Attention Network（GAT）论文、模型、代码解析
本篇博客是对论文 Velikovi, Petar, Cucurull, Guillem, Casanova, Arantxa,et al. Graph Attention Networks, 2018, ICLR的解读与python复现， 全文阅读约10分钟。博主关于图神经网络的文章 DeepLearning | 图卷积神经网络(GCN)解析(论文、算法、代码)目录一、Graph Attent...
2020-04-09 20:51:48
5402
3
原创 DeepLearning | 图卷积神经网络(GCN)解析(论文、算法、代码)
本篇博客主要讲述三种图卷积网络（Graph Convolutional Network, GCN）的算法原理及python实现，全文阅读时间约10分钟。目录一、图卷积网络原理1.0 预备知识1.1 第一代图卷积网络1.2 第二代图卷积网络1.3 第三代图卷积网络1.4 图卷积网络的优缺点二、图卷积网络python实现三、图卷积网络论文、代码、数据集资源下载一、图卷积网络原理图模型早期的研究被...
2020-04-08 13:27:16
10740
1
原创 机器学习教程 之 EM算法 ：高斯混合模型聚类算法 (python基于《统计学习方法》实现，附数据集和代码)
之前写过一篇博客讲述极大似然方法， 这一方法通常适用于知道观测数据YYY，求解模型参数θ\thetaθ的场合，即P(Y∣θ)P(Y|\theta)P(Y∣θ)。但是，在更多场合除了模型参数是未知的外，还有隐变量ZZZ也是未知的，即P(Y,Z∣θ)P(Y,Z|\theta)P(Y,Z∣θ)。多个隐藏模型的混合，会使得普通的极大似然方法用起来不是那么方便，比如求解高斯混合模型(GMM), 隐马尔可夫...
2019-07-12 19:09:02
2856
8
原创 人工智能里的数学修炼 | 隐马尔可夫模型：基于EM的鲍姆-韦尔奇算法求解模型参数
隐马尔可夫模型的参数为λ={A,B,π}\lambda=\{A,B,\pi\}λ={A,B,π}, 对余其参数的求解，可以分为两种情况。第一种情况较为简单，就是我们已知长度为TTT的观测序列和对应的隐藏状态序列，即{(O,I)}\{(O,I)\}{(O,I)}是已知的，此时我们可以很容易的用最大似然来求解模型参数。第二种情况较为复杂，很多时候，我们无法得到隐马尔可夫模型观察序列对应的隐藏序列，...
2019-07-09 15:33:13
903
原创 人工智能里的数学修炼 | 隐马尔可夫模型 ： 维特比(Viterbi)算法解码隐藏状态序列
之前的博客 人工智能里的数学修炼 | 概率图模型 ： 隐马尔可夫模型已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题：1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。这里介绍求解第二个预测问题的维特比算法，这里举个例子回归一下预测问题在语音识别等任务中，观测值为语音信号，隐藏状态为文字，目标就是根据观测信号来推断最有可能的状态序列一、维比特算法的可递推局部状态...
2019-07-09 13:04:42
660
原创 人工智能里的数学修炼 | 隐马尔可夫模型：前向后向算法
之前的博客 人工智能里的数学修炼 | 概率图模型 ： 隐马尔可夫模型已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题：1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。这里介绍求解第一个生成观察序列概率的前向后向算法，前向后向算法实际上是两个算法的合成，即前向算法和后向算法，二者相似，这里主要以前向算法为例进行介绍一、前向算法前向算法针对的是隐马尔可夫模型的概率计...
2019-07-08 22:16:38
587
原创 人工智能里的数学修炼 | 概率图模型 ： 隐马尔可夫模型
概率图模型（probabilistic graphical model）是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的是用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，概率图模型可大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网（Bayesian network）;第二类是使用无向...
2019-07-08 21:09:04
848
原创 机器学习教程 之 生成模型与判别模型
最初知道生成模型与判别模型是从GAN里听到的，分别训练一个生成模型和判别模型，然后进行对抗，提升总体模型的性能，这是一个令人惊叹的创新和突破。这里总结一下生成模型和判别模型的特点和不同一、判别模型和生成模型的思想拿一个分别男女的二分类问题来说，判别模型就是要找到区分男女的划分边界，而生成模型则是要找到可以描述男女这两类数据分布的模型，可以用下面这张图简单概括一下判别模型要学习的是这里的划分...
2019-07-08 10:50:18
739
6
原创 DeepLearning | Semantic Autoencoder for Zero Shot Learning 零样本学习 (论文、算法、数据集、代码)
这两天事情比较少，这里再分享一个简单好用的ZSL算法Semantic Autoencoder for Zero Shot Learning之前也写过几篇博客简单描述了几种基本的ZSL算法DeepLearning | Relational Knowledge Transfer for Zero Shot Learning（论文、算法、数据集、代码）DeepLearning | Zero Sh...
2019-03-02 16:15:24
4110
8
原创 DeepLearning | Relational Knowledge Transfer for Zero Shot Learning 零样本学习（论文、算法、数据集、代码）
最近发现一个简单好用的ZSL算法Relational Knowledge Transfer for Zero Shot Learning，这里写篇博客分享一下之前也写过两篇博客简单描述了几种基本的ZSL算法DeepLearning | Zero Shot Learning 零样本学习（扩展内容、模型、数据集）DeepLearning | Zero Shot Learning 零样本学习这篇...
2019-02-17 18:25:57
3584
17
原创 DeepLearning | Zero shot learning 零样本学习AWA2 图像数据集预处理
因为有打算想要写一组关于零样本学习算法的博客，需要用到AWA2数据集作为demo演示之前想只展示算法部分的代码就好了，但是如果只展示算法部分的代码可能不方便初学者复现，所以这里把我数据预处理的方法也说一下，博客的最后会给一个处理好的数据下载地址，之后的博客都会利用该博客的方法作为数据预处理我会对AWA2数据集做一个详细的介绍，对数据集有一个好的理解本身也有助于算法的学习和实现AWA2 图像数...
2018-12-23 20:04:42
11875
60
原创 DeepLearning | 经典卷积神经网络VGG_Net
VGGNet是牛津大学计算机视觉组和Google DeepMind 公司的研究员一起研发的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与性能之间的关系，通过反复堆叠3x3的小型卷积核和2x2的最大池化层，VGGNet成功地构筑了16～19层深的卷积神经网络，并取得了ILSVRC2014比赛分类项目的第二名和定位项目的第一名。 其网络结构和思路主要展示在论文 Very Deep Con...
2018-09-15 11:11:47
727
原创 2018之江杯全球人工智能大赛 ：零样本图像目标识别 baseline 全部代码+注释+招队友
暑假抽空参加了这个比赛，因为一直一个人做，到现在感觉没什么思路了，目前的排名大概在60名左右，精度是11%，在排行榜上的道友要是感觉自己做也比较吃力的话，可以在评论留言微信，看看能不能商量一下一起组个队公布的这个代码是之前的一份精度5%，主要用的152层残差网还有一个数据增强，明人不说暗话，觉得有帮助的记得关注点赞哈from tensorflow.contrib.slim.python...
2018-09-02 11:18:02
7338
8
原创 DeepLearning | Tensorboard可视化与远程链接服务器
实施对深度神经网络训练过程的实时监控，有助于我们掌握网路的训练进程及时发现问题。tensorflow作为主流的深度学习框架为我们设计了封装十分完善的可视化工具——tensorboard，用起来也十分的方便。这篇博客介绍tensorboard的两个主要应用，一个是显示网络结构即训练过程中的一些参数loss，weights等，还有一个就是当用服务器训练网络时，我们如何在本地显示tensorboard...
2018-08-19 20:42:39
1122
原创 DeepLearning | 经典卷积神经网络Alex_Net （完整模型与tensorflow代码讲解，附数据集）
最近复现了几个经典的卷积网络，拿自己的数据集试了了试，不得不承认的是卷积神经网络在图像处理方面确实有着得天独厚的优势，写这篇博客讲述早期最经典的卷积神经网络Alex_Net以及附上一些自己的理解2012年，Hinton的学生在ILSVRC 2012中以显著的优势赢得了比赛，top-5的错误率降低至了16.4%,相比于第二名的26.2%有了巨大的提升，这可以说是神经网络在低谷期以后的第一次发声，...
2018-08-16 23:03:21
2688
43
原创 pandas的聚合操作: groupyby与agg
pandas提供基于行和列的聚合操作，groupby可理解为是基于行的，agg则是基于列的从实现上看，groupby返回的是一个DataFrameGroupBy结构，这个结构必须调用聚合函数（如sum）之后，才会得到结构为Series的数据结果。 而agg是DataFrame的直接方法，返回的也是一个DataFrame。当然，很多功能用sum、mean等等也可以实现。但是agg更加简洁, 而...
2018-07-01 11:01:26
9611
原创 机器学习教程 之 模型性能评价：受试者工作特征曲线 ROC与AUC
模型性能评价是每一位机器学习工作者都需要掌握的一项技能，除了最常见的损失函数比较，今天再向大家介绍一种稍微高明一点儿的方法 ROC与AUC在正式介绍ROC曲线之前，我们还需要介绍一些额外的知识：分类结果混淆矩阵 对于二分类问题，可将样本根据真实类别与学习器预测类别的组合划分为真正例（TP）、假正例（FP）、真反例（TN）、假反例（FN），则显然有了 TP+FP+TN+FN=样本总数TP+...
2018-06-25 12:22:56
2223
原创 机器学习教程 之 加性模型：GBDT退化为AdaBoost原理
Gradient boosting是一种广泛被用于回归、分类和排序任务的集成方法，于2001年被Friedman提出 该类算法通过以上一轮基学习器的误差的负梯度为训练目标训练本轮的基学习器，不断降低集成模型在训练集上的偏差实现高精度的集成 基于Gradient Boosting算法的学习器被称为Gradient Boosting Machine（GBM），如果说AdaBoost是boostin...
2018-06-12 22:26:07
1673
原创 MySQL常用命令大全
以前写过一篇比较详细的关于MAC安装MySQL的教程 这里列出常用的SQL语句，为了分享和记忆1 . 登陆MySQL数据库mysql -h localhost -u root -p2 . 创建数据库create database 数据库名称；3 . 显示数据库列表show databases;4 . 修改数据库修改数据库编码方式alter database...
2018-05-21 17:57:19
387
GoogleNews 训练好的词向量文件，每个词向量300维度，很好用
2019-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人