![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AdvancesInMachineLearning
KDLin
这个作者很懒,什么都没留下…
展开
-
GAN的初步理解
GAN的初步理解2020年6月10日11:12GAN的基本算法虽然我们在GAN中分别定义了Generator(G)和Discriminator(D),但实际上实现上,我们是将其组成一个大的网络,迭代地对二者进行训练。它的基本演算法如下上述关于D的算法目标可以简述为:通过改变D的参数,使得D判断正确样本能得到尽可能高的分数,而负面样本(即生成的样本)尽可能低的分数——即是,训练使得D给正确的样本打高分,给生成的样本打低分。关于G的算法的目标则相反:通过改变...原创 2020-12-17 09:40:05 · 189 阅读 · 0 评论 -
BERT简述
BERT2020年8月9日17:10 目录 - - 概述 - ELMO - BERT - 如何训练 - MARK - CLS - How to use? - Extraction-based Question Answering - GPT - 如何训练 概述word toke...原创 2020-08-09 19:28:57 · 253 阅读 · 0 评论 -
Life Long Learning
Life Long Learning2020年7月13日21:46 目录 - - 问题定义 - Upper Bound - Multi-task Learning - Knowledge Retention - Elastic Weight Consolidation (EWC) - 简述 - 一个直观的理解 - 用二阶导数衡量参数的重要性...原创 2020-07-16 11:01:47 · 310 阅读 · 0 评论 -
ROC-AUC 浅谈理解ROC曲线和AUC值
这是一个评价二分类器的指标,特点是不受不平衡数据集的影响。但事实理解起来有点难。下面先介绍ROC-AOC是什么,然后再谈谈我的一种理解。ps,理解这个指标,首先得对经典的F1, Recall,Precision的比较熟悉,否则看了会一头雾水,如果你不熟这几个指标的计算,建议先阅读。ROC曲线receiver operating characteristic curve(名称似乎无法直观理解它本身,所以忽略),它是一条关于TPR和FPR的曲线,其中TPR,true positive rate,标签为正原创 2020-05-28 13:16:57 · 2543 阅读 · 0 评论 -
Generative Models - 一文理解Variational Autoencoder
目录 - 1. PixelRNN - 1.1 一个有趣的Trick - 2. Variational Autoencoder (VAE) - 2.1 引言 - 2.1.1 AE的缺点 - 2.1.2 VAE一览 - 2.1.3 VAE的改进 - 2.2 VAE的解释 - 2.2.1 Intuitive ...原创 2020-05-27 23:22:27 · 363 阅读 · 0 评论 -
Anomaly Detection 入门概述
目录 - - - 1. 引言 - 2. with labels - 2.1 简洁的Baseline - 2.2 评价指标 - 2.3 问题:异常case太像正常case - 3. without labels - 3.1 小白检测 - 3.2 Auto-Encoder 概述 介绍了异常检测的基本任务形式,带标签,不带标签两种情况。...原创 2020-05-27 16:59:41 · 460 阅读 · 0 评论 -
为什么AdaBoosting会是Gradient Boosting?
Gradient Boosting是AdaBoosting的general的版本,但是为什么呢?Gradient Boosting的理论有些复杂,但实际上,也不算难理解。Gradient Boostin和AdaBoosting这里指出adaboosting可以用整合到梯度下降的理论中,只不过boosting里的梯度下降是对函数梯度下降。我们来看看Adaboosting的general形式。在每次循环中,都是计算出一个α和新函数f,来提升原来的表现,其中求出f需要找到数据集一组weight,在原创 2020-05-27 16:57:19 · 244 阅读 · 0 评论 -
Unsupervised Learning-More Auto-Encoder
目录 - - 1. 更好的Auto-Encoder架构 - 1.1 Add Discriminator - 1.2 经典架构的Genenal 形式 - 2. Text- Skip thought & Quick thought - 2.1 Skip thought和Quick thought - 3. Feature Disentangle - 3.1 Adversarial ...原创 2020-05-19 23:11:53 · 176 阅读 · 0 评论 -
Unsupervised Learning-Auto Encoder
目录 - 1. 引言 - 2. 基本架构 - 3. 应用 - 3.1 作为一种降维的方法 - 3.2 消除噪声 - 3.3 Text Retrieval - 3.4 Similar Image Search - 3.5 Auto Encoder for CNN - 3.5.1 Unpooling - 3.5.2 Deco...原创 2020-05-19 23:10:29 · 257 阅读 · 0 评论 -
Supervised Learning Neighbor Embedding
目录 - 1. Locally Linear Embedding (LLE) - 2. Laplacian Eigenmaps - Graph-based - 3. T-distributed Stochastic Neighbor Embedding(t-SNE) - 3.1 基本方法 - 3.2 相似度策略 概述 非线性降维,解决PCA中提到的线性变化方法的缺点。如何能处理下列这种类型的降维?...原创 2020-05-19 23:08:26 · 140 阅读 · 0 评论 -
Unsupervised Learning-Dimension Reduction
目录 - - - 1. 基本知识 - 1.1 无监督学习的两种流派 - 2. Clustering - 2.1 K-means - 2.2 HAC,Hierarchical Agglomerative Clustering - 3. Distributed Representation - 4. Principle component analysis(PCA) -...原创 2020-05-19 23:04:15 · 187 阅读 · 0 评论 -
Recusive Network
简介Recursive network 是recurrent network的一个general版本,它常常用于在网络中加入先验结构知识,它强不强取决于数据背后的结构性。情感分析的例子例如这种类型的短句,not通常是直接直接“反化”兄弟子树的内容,very则是强化兄弟子树。像这种情况,可以用recursive network来解决。那么像这种语法结构哪里来呢,其实可以是另一种算法的生成结果。上述提到的f是什么?f可以是一个nn,可以是lstm,也可以是更加...原创 2020-05-13 21:35:13 · 212 阅读 · 0 评论 -
Pointer Network
Pointer Network简介点网络及应用一个经典问题:从点集中选出部分点,连线围起所有点。这个问题能不能用神经网络来解?这个问题看似挺无聊的,只是解决了一个有解的问题,但可以应用于一些意想不到的地方,核心思想是,从所有点中选择部分点。细节感觉不像nn擅长的,好像并不存在几个点组合的固定模式,满足条件,换句话说,过去的数据似乎无法对任意点建模。但其实,换个角度,目标点集的模式是有的,比如,它们都位于点的外围,它们点于点之间的关系满足“”围起来“”的条件,所以,...原创 2020-05-13 21:31:34 · 260 阅读 · 0 评论 -
Seq2Seq,attention机制的一些问题及解决方案
目录 - 1. PixelRNN - 2. Conditional Sequence Generation - 2.1 在每次time step考虑Context - 2.2 Dynamic Conditional Generation - 2.1.1 Attention可用于可视化 - 2.1.2 Memory Network - 2.2.3 Neural T...原创 2020-05-13 20:52:26 · 1060 阅读 · 0 评论 -
Ensemble,Bagging and Boosting
目录 - 1. Bagging - 1.1 bagging何时使用? - 1.2 举例:random forest - 1.3 out-of-bag validation - 2. Boosting - 2.1 Adaboost - 2.1.1 Re-Weight dataset - 2.1.2 Adaboost 算法核心 ...原创 2020-05-09 00:21:30 · 641 阅读 · 0 评论 -
神经网络压缩的基本流派
目录 - - 1. Network pruning - 1.1 为什么需要大的network? - 1.2 Practical Issue - 2. Knowledge Distillation - 2.1 Teacher network - 2.1.1 trick ...原创 2020-05-08 14:10:36 · 470 阅读 · 0 评论