能找到答案的,只有自己

梦想还是要有的

code snippets

hit Ctrl + C to break out of training early try: for epoch in range(epochs): # code for training here except KeyboardInterrupt: print('Exiting f...

2019-04-24 10:33:57

阅读数 17

评论数 0

python argparse中action的可选参数store_true的作用

# test.py import argparse if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument("--test_action", actio...

2019-04-13 10:52:07

阅读数 20

评论数 0

Beam Search score function

一般情况下,beam search 通常用于翻译等句子生成任务中。 beam_size 用来在翻译所所需时长和翻译准确度之间进行权衡。当beam_size = 1时,beam search 则退化为 greedy search。 另一方面,当 n_best 的取值大于1时,由 beam searc...

2019-02-01 14:33:35

阅读数 86

评论数 0

2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 阅读笔记

2017.4-Jeff Donahue, Trevor Darrell-Adversarial feature learning-UCB-ICLR2017 本文创新点:提出 BiGANs,能够进行 inverse mapping (data => latent space)...

2018-10-14 15:50:12

阅读数 76

评论数 0

2016.9-Jiwei Li-Deep reinforcement learning for dialogue generation-Stanford 阅读笔记

2016.9-Jiwei Li-Deep reinforcement learning for dialogue generation-arXiv-Stanford Abstract Recent neural models Short-sighted predicting utteranc...

2018-10-14 15:47:00

阅读数 93

评论数 0

自动微分方法简介

假设我们定义了一个方程:f(x,y)=x2y+y+2f(x,y)=x2y+y+2f(x,y) = x^2y + y + 2,我们需要对 xxx 和 yyy 求偏导,此时通常由以下几种做法: 手动求导 符号微分 数值微分 前向自动微分 反向自动微分 1. 手动求导 拿起纸笔应用链式法则...

2018-07-13 17:33:44

阅读数 631

评论数 0

Ensemble Learning and Random Forest

1. Voting Classifiers 分类 hard voting: 选择投票最多的类别 soft voting: 选择概率和最大的类别,通常会比 hard voting 效果好一些。 many weak leaners -> strong lea...

2018-07-11 15:58:54

阅读数 150

评论数 0

Decision Trees

Decision Tree Training and Visualizing a decision tree Making Predictions Estimating Class Probabilities The CART Training Algorithm Computational ...

2018-07-11 15:40:58

阅读数 281

评论数 0

Auto-encoding Variational Bayes 阅读笔记

Motivation Perform efficient inference and learning in : directed probabilistic models continuous latent variables intractable posterior distribu...

2018-06-12 11:45:59

阅读数 604

评论数 0

Online SVM 和 Hinge Loss

在线学习意味着应用增量学习方法来处理新增样本。 对于 linear SVM 问题,求解方法之一是利用 Gradient Descent 最小化如下所示的代价函数(有SVM原问题得到),但遗憾的是与基于二次规划的求解方法相比,收敛速度要慢得多。 【式-1】线性SVM分类代价函数 J(w,b)=...

2018-05-23 22:55:29

阅读数 344

评论数 0

kernel SVM 和 multi-kernel SVM

3. Kernel SVM 线性分类(超平面)并不能满足所有场合的需求,如形状为套环的样本集。此时便需要引入非线性分类方程: 【式-0】非线性分类方程 H′(x)=wTϕ(x)+bH′(x)=wTϕ(x)+b H'(x) = w^T\phi(x)+b 同理,在任一点 xxx 处,...

2018-05-23 16:56:45

阅读数 376

评论数 0

SVM 中的mathematics —— Basic SVM 和 Soft Margin SVM

1. Basic SVM 训练样本集:{(xi,yi),i=1,2,⋯,m=m++m−}{(xi,yi),i=1,2,⋯,m=m++m−}\{(x_i, y_i), i=1,2,\cdots, m=m^++m^-\},其中,xi∈Rn,yi∈{+1,−1}xi∈Rn,yi∈{+1,−1}x_i...

2018-05-22 22:24:02

阅读数 77

评论数 0

SVM 概述

本篇为概述,数学推导见下篇: Linear SVM Classification 适用场合:线性可分 特点:large margin classification hard margin classification: 目标/核心:要求所有的样本必须被正确分类 存在的问题: 要求训练样本...

2018-05-22 22:21:50

阅读数 169

评论数 0

Softmax Regression

Logistic Regression 常用于 二分类 的场合,而 Softmax Regression (又名 Multinomial Logistic Regression) 就是 Logistic Regression 在 多类别 场合下的推广,这种推广并不需要训练或者结合多个二分类分类器。...

2018-05-19 19:18:26

阅读数 132

评论数 0

逻辑回归 Logistic Regression

又名 Logit Regression. 通常用来估计样本属于某一类的概率。 1. 概率估计 【式-1】Logistic Regression模型估计概率(向量形式) p̂ =hθ(x)=σ(θTx)p^=hθ(x)=σ(θTx) \hat{p}...

2018-05-19 15:52:48

阅读数 67

评论数 0

正则化线性模型:岭回归 Ridge Regression、Lasso 回归、Elastic Net (弹性网络) 和 Early stopping

模型正则化(减小自由度)是减少过拟合的方法之一。 对多项式模型来说,正则化可以通过减少阶数来实现。 对线性模型来说,正则化往往通过约束模型的权重来实现。 Ridge Regression 岭回归, 又名 Tikhonov regularization 岭回归是线性回归的正则化版本,即在...

2018-05-11 23:58:43

阅读数 3784

评论数 0

判断模型是overfit还是underfit -- learning curve 与 bias/variance tradeoff

首先,我们先生成一组大致符合二次函数规律的训练师数据,再分别用 1) 线性函数,2) 二次函数 和 3) degree=300的多项式函数进行回归分析,结果如下(代码见文末) 在这个示例中,degree=300的情况明显overfit训练数据,linear model为underfit。二次...

2018-05-11 19:57:19

阅读数 739

评论数 0

多项式回归 Polynomial Regression

前面介绍了线性拟合数据的情况。那么,当数据并不符合线性规律而是更复杂的时候应该怎么办呢? 一种简单的解决方法就是将每一维特征的幂次添加为新的特征,再对所有的特征进行线性回归分析。这种方法就是 多项式回归。 具体做法可以从示例代码中体会一下。。。 注意 当存在多维特征时,多项式回归能够发...

2018-05-07 17:58:36

阅读数 4239

评论数 1

线性回归 Linear Regression (2) —— 利用梯度下降法求解 & python 实现

Gradient Descent (GD) 的核心思想 迭代地调整模型参数,来最小化 代价函数 cost function。 沿着下降梯度的方向 一旦梯度等于0,便得到了(局部)极小值。 具体步骤 随机初始化参数 θθ\theta (random initialization) ...

2018-05-07 11:11:38

阅读数 464

评论数 0

线性回归 Linear Regression (1)

1. 什么是线性模型 (linear Regression model)? 线性回归模型通过简单计算输入特征的加权和,再加上一个常数项,即 bias term (又称为 intercept term) 来进行预测,如式-1所示。 【式-1:线性回归模型预测】 ŷ=θ0+θ1x1+θ2x2+...

2018-05-05 17:36:19

阅读数 442

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭