2018年11月_lpty

原创 A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification

引言Ye Zhang在2016年挂在arXiv上的论文，从名字大概可以看出来，这是一篇CNN调参指南。概述模型方面用的是单层CNN，主要是CNN用做文本分类方面的研究，模型结构如下所示：上述模型来自Convolutional Neural Networks for Sentence Classification，详细的介绍可以参考：博文内容Baseline Models为了跟CNN...

2018-11-19 23:52:09 2077

原创 Convolutional Neural Networks for Sentence Classification

引言这是Yoon Kim发表于2014年的EMNLP上的论文，也就是经常说到的TextCNN。CNN一开始提出来是作为图像或者语音这种特征连续任务的处理方式，这篇论文则是尝试将CNN用于文本这种离散型的任务中。模型前面说到CNN是处理连续型数据的，所以对于文本而言，就需要进行离散特征连续化，目前比较流行的应该是word2vec的方式，另外对于长度不同的文本就需要考虑padding了，网络结...

2018-11-15 17:19:50 890

原创 Cross-Entropy Error、Classification Error、Mean Squared Error

一、引言神经网络中，损失函数的选择希望能够有以下效果：1、不同的预测结果能够产生不同的损失，越好的结果损失要越小2、在损失较大的情况下，学习的速率要相对较快二、对比1、区分性假设有以下两组数据，computed代表计算出来的概率，targets代表实际的标签，correct代表分类结果是否正确数据组1：数据组2：Classification Error可以看到数据组1的分类...

2018-11-13 19:19:18 2584

原创 Linux下编译安装gcc

引言1、gcc下载地址：ftp://ftp.mirrorservice.org/sites/sourceware.org/pub/gcc/releases2、GMP、MPFR、MPC下载地址：ftp://gcc.gnu.org/pub/gcc/infrastructure/步骤1、安装gcc需要依赖GMP、MPFR、MPC，而MPFR依赖GMP，而MPC依赖GMP和MPFR，所以要先安装...

2018-11-08 17:19:47 1961 1

原创 Monte Carlo Integration

引言Monte Carlo Integration，即蒙特卡罗积分，这是一种很常用的数学方法，原理上也可以很直观的列出来内容（一）投点法求定积分如下图，求函数f(x)从a到b的定积分。用面积为A的矩型罩在函数的积分区间上，随机地向这个矩形框里面投点，其中落在函数f(x)下方的点为绿色，其它点为红色。统计绿色点的数量占所有点（红色+绿色）数量的比例为r，据此估算出函数f(x)从a到b的定积...

2018-11-06 16:18:39 4139

原创 Linear classifiers do not share parameters among features and classes

一、概述标题来自Bag of Tricks for Efficient Text Classification，就是fasttext这篇文章二、简析1、解析下述截图来自：https://datascience.stackexchange.com/questions/30605/what-is-meant-by-sharing-of-parameters-between-features-a...

2018-11-01 10:23:25 200

lpty的博客