机器学习
williamyi96
PhD Student on Machine Learning, Optimization, Federated Learning, and Data-Efficient Learning.
展开
-
[论文阅读] EIE: Efficient Inference Engine on Compressed Neural Network
这是收录于ISCA16(International Symposium on Computer Architecture).参考资料Paper from Arxiv. EIE: Efficient Inference Engine on Compressed Deep Neural NetworkPPT from ASCA16. EIE: Efficient Inference Eng原创 2017-09-17 17:46:49 · 1373 阅读 · 0 评论 -
梯度下降优化算法综述
From: http://ruder.io/optimizing-gradient-descent/An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an转载 2017-08-26 14:56:42 · 1183 阅读 · 0 评论 -
[论文解读] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices原创 2017-10-15 13:26:16 · 606 阅读 · 0 评论 -
基于Tensorflow的机器学习(3) -- KMeans and NN(Nearest Neighbors)
Remains原创 2017-10-22 18:03:24 · 438 阅读 · 0 评论 -
基于Tensorflow的机器学习(4) -- 随机森林
Remains原创 2017-10-22 22:08:06 · 3052 阅读 · 0 评论 -
sklearn中的数据预处理
1.介绍klearn.preprocessing提供了各种公共函数,来将raw feature vetor转换成另外一种更适合评估器工作的格式。2.标准化(Standardization)、平均移除法(mean removal)和方差归一化(variance scaling)数据集的标准化,在scikit中,对于众多机器学习评估器来说是必须的;如果各独立特征不进行标准化,结果标准正态分布数据差距很大转载 2017-12-30 14:38:27 · 2552 阅读 · 0 评论 -
机器学习中的因果推理机制 (0) -- 引言
由于毕设选题与casual inference, machine learning, knowledge system 相关,因此主要探讨机器学习中的因果推理机制。之前在这些领域博主有一定的基础,但是目前国际上关于因果推理仍处于起步阶段,因此将会融汇很多个人的研究成果与思考,希望读者进行批评指正。此博客为奠基文,之后将进行持续不断的更新,以期能够有比较大的收获。...原创 2019-02-20 15:37:22 · 3136 阅读 · 0 评论 -
机器学习中的因果机制(1) -- 因果关系的必要性
当前的机器学习基本上可以算是统计机器学习问题,也就是通过大量的数据学习到一些隐藏的patterns,从而得到数据与数据之前的相关关系,进而进行目标检测、追踪、知识问答等处理。很自然的一个问题就是,既然机器学习当前主流是以统计规律得到的相关关系为主,那么我们为什么要研究因果关系呢?以下将以一个经典的问题 – Yule-Simpson’s Paradox (辛普森悖论) 作为分析。我们来看一个例子:...原创 2019-04-05 13:22:51 · 5754 阅读 · 4 评论 -
二分类模型性能评估方法
2018年学习的遗留文章。基本说明由于近来在研究关于eye fixation以及saliency detection,之前在object detection中使用较多的是mAP, 而这里使用的更多的是ROC(Reciever OPeration Characteristic)曲线和AUC评价分类器的性能。该分类器实际上是可以解决多类分类问题的(后续进行说明), 然而其在解决二分类问题时还是存在...原创 2019-04-27 15:24:26 · 2642 阅读 · 0 评论 -
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability这篇文章是使用树正则方法对深度网络的可解释性的探索,论文的一作作者为Mike Wu, 时为Stanford University博士一年级学生,该论文发表在AAAI18, 该论文的源代码地址为https://github.com/dtak/tree-re...原创 2019-04-27 15:25:57 · 1168 阅读 · 0 评论 -
生成模型 (VAE/GANs) 概览
参考 http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture13.pdf 就够了, 特别是 variational auto-encoder 讲得特别地直观而且清晰。原创 2019-05-12 14:10:51 · 606 阅读 · 0 评论 -
KNN(K近邻算法)
KNN(K-Nearest Neighbors)也就是常说的k最紧邻算法,顾名思义也就是找出某个点最靠近的k个点,由于其对于小数据集的处理能力较强,在神经网络火起来之前被广泛地使用。接下来讲主要以图像分类领域为基础进行knn的介绍。但是由于本博客目的是方便后续留做复习使用,因此不打算从最基础的部分讲解起来,不过关于其最基础的内容,文末会有相关链接。图像分类,顾名思义,就是将一幅图像赋予一个标签,同时原创 2017-08-19 22:16:02 · 407 阅读 · 0 评论 -
反卷积网络概念及其于目标检测中的应用
反卷积网络概念及其于目标检测中的应用原创 2017-08-25 00:27:26 · 497 阅读 · 0 评论 -
神经网络中非线性激活函数相关解析
引入非线性激活函数的作用引入非线性激活函数的主要目的是增加神经网络的非线性性。因为如果没有非线性激活函数的话,每一层输出都是上层输入的线性函数,因此,无论神经网络有多少层,得到的输出都是线性函数,这就是原始的感知机模型,这种线性性不利于发挥神经网络的优势。非线性激活函数的类别非线性函数在历史的长河中有多种,主要讲以下两类:有界激活函数有界激活函数用得相对较多的是sigmoid函数和tanh(双曲正切原创 2017-08-25 01:12:59 · 5322 阅读 · 0 评论 -
浅谈神经网络反向传播的梯度丢失问题
在神经网络的训练过程中,由于神经网络初始参数的随机初始化一般是正态分布函数的初始化,因此往往初始化权值小于1,导致了如果随着网络深度的提升,如果使用sigmoid函数,则累积的结果是梯度值的指数级减小,从而导致梯度趋近于0,使其难以有效地被训练。后续会对当前针对网络层数加深,解决梯度丢失问题的多种方法进行归纳。参考资料: 深度神经网络中的梯度丢失和梯度爆炸原创 2017-08-24 16:03:15 · 570 阅读 · 0 评论 -
浅谈Dropout
在全连接网络部分,Dropout这一超参得到了较为广泛的应用,同时取得了不错的效果。下面就来简单地谈谈Dropout。什么是Dropout我们知道,典型的神经网络其训练流程是将输入通过网络进行正向传导,然后将误差进行反向传播。Dropout就是针对这一过程之中,随机地删除隐藏层的部分单元,进行上述过程。综合而言,上述过程可以分步骤为:随机删除网络中的一些隐藏神经元,保持输入输出神经元不变;将输入原创 2017-08-25 00:24:53 · 13642 阅读 · 2 评论 -
ReLU函数进行Batch Normalization意义分析
我们都知道,正则化是一种防止训练参数过拟合的一种极为有效的方式。激活函数的主要作用是提升圣经网络的非线性性。之前常用的激活函数,如Sigmoid, tanh函数,由于其饱和区的接近于0,因此需要将其进行正则化,转换为正态分布,将数据大部分规范到线性范围之内,然后通过两个额外的线性转换参数来进行微调,从而避免后续梯度消失问题的产生。那么就有一个问题了,ReLU这一函数并没有上界,也就是其导数不存在趋近原创 2017-08-25 00:27:00 · 8187 阅读 · 5 评论 -
1*1卷积核作用分析
1*1卷积核,这种小巧的卷积核从GoogLeNet,ResNet之后得到了广泛的使用,其在理论上和时间上都被证明了针对特定的问题可以一定程度地提升神经网络的效率。关于1*1卷积核的作用,总体而言主要有如下两个方面的内容:进行升维与降维并减少网络参数。关于其降维并减少网络参数的特点在GooLeNet中表现得一览无遗,详情可以参见GooLeNet,关于其升维并减少网络参数的功能在ResNet中使用得非原创 2017-08-24 16:01:59 · 2217 阅读 · 0 评论 -
Batch Normalization
原文出处: http://blog.csdn.net/malefactor/article/details/51476961Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了,任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB,因为这个技术确实很NB,虽然有转载 2017-08-26 14:51:12 · 230 阅读 · 0 评论 -
L0、L1与L2范数
L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存转载 2017-08-26 16:02:21 · 516 阅读 · 0 评论 -
VGG16中3个3*3卷积核对AlexNet中7*7卷积核的替代性分析
使用更小的卷积核是当前在保证网络精度的情况下,减少参数的趋势之一,在VGG16中,使用了3个3*3卷积核来代替7*7卷积核,使用了2个3*3卷积核来代替7*7卷积核,这样做的主要目的是在保证具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果。以下简单地说明一下小卷积(3*3)对于5×5网络感知野相同的替代性。如图所示:关于3个3×3卷积核对于7× 7 卷积的替代性思考方式同上原创 2017-08-24 16:14:18 · 12896 阅读 · 4 评论 -
Global Average Pooling对全连接层的可替代性分析
在NIN(Network in Network) 这篇论文中有很多的思想让人受益匪浅,其中之一就是全局平均池化(Global Average Pooling) 对于全连接层的替代性分析。刚开始由于觉得之后的研究不需要NIN,因此就没去看论文,看了一下其他人的博客,发现关于其原因讲得并不清楚,只说是那么用的。后来实在是受不了了,看了看论文,而且找到了一个较好的讲解,现在算是完全弄懂了。首先我们来看一下原创 2017-08-24 15:54:22 · 25400 阅读 · 0 评论 -
机器学习算法性能评价方式
机器学习(包括信息检索,目标检测等)有一套专门的评价算法性能的方式。由于其来源于信息检索,以下将其独立进行分析。Precision(准确率)准确率是正确检索到的信息与实际被检索到的信息之商。Accuracy(精确率)精确率是分类器正确分类的样本数与总样本数之商。Recall(召回率)召回率是被正确检索为相关信息与应该被检索到的信息之商。Fall-out(失误率)检索的所有信息中不相关信息与所有不相关原创 2017-08-24 15:44:05 · 404 阅读 · 0 评论