dengjiyun1419-CSDN博客

转载核方法（Kernel Methods）

核方法（Kernel Methods）支持向量机（SVM）是机器学习中一个常见的算法，通过最大间隔的思想去求解一个优化问题，得到一个分类超平面。对于非线性问题，则是通过引入核函数，对特征进行映射（通常映射后的维度会更高），在映射之后的特征空间中，样本点就变得线性可分了。核方法的示意图如下：上图中左边表示的是原始特征空间，在原始特征空间中，我们无法用直线（平面）来将两类点分...

2019-04-07 20:52:00 613

转载 LSTM调参经验

0、开始训练之前先要做些什么？在开始调参之前，需要确定方向，所谓方向就是确定了之后，在调参过程中不再更改1、根据任务需求，结合数据，确定网络结构。例如对于RNN而言，你的数据是变长还是非变长；输入输出对应关系是many2one还是many2many等等，更多结构参考如下非RNN的普通过程，从固定尺寸的输入到固定尺寸的输出（比如图像分类）输出是序列（例如图像标注：输入...

2018-12-23 12:05:00 5122

转载 deeplearning.ai课程学习（4）

第四周：深层神经网络(Deep Neural Networks)1、深层神经网络（Deep L-layer neural network）在打算使用深层神经网络之前，先去尝试逻辑回归，尝试一层然后两层隐含层，把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估，或者用你的开发集来评估。2、前向传播和反向传播（Forward and ba...

2018-12-16 22:53:00 182

转载 deeplearning.ai课程学习（3）

第三周：浅层神经网络(Shallow neural networks)1、激活函数（Activation functions）sigmoid函数和tanh函数两者共同的缺点是，在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。Relu和Leaky ReLu相对于Sigmoid和tanh函数的优点如下：第一，在...

2018-12-09 22:08:00 160

转载 deeplearning.ai课程学习（2）

第二周：神经网络的编程基础(Basics of Neural Network programming)1、逻辑回归的代价函数（Logistic Regression Cost Function）逻辑回归需要注意的两个点是，sigmoid函数和log损失函数。sigmoid函数的函数表达式为作为线性函数后的非线性转化，使得逻辑回归有别于硬分类的算法，例如SVM...

2018-11-26 00:51:00 139

转载 deeplearning.ai课程学习（1）

本系列主要是我对吴恩达的deeplearning.ai课程的理解和记录，完整的课程笔记已经有很多了，因此只记录我认为重要的东西和自己的一些理解。第一门课神经网络和深度学习(Neural Networks and Deep Learning)第一周：深度学习引言(Introduction to Deep Learning)1、常用神经网络的结构与对应的数据类型数据类...

2018-11-11 23:07:00 183

转载不平衡问题——算法角度

上一篇介绍了从数据角度出发，如果去处理不平衡问题，主要是通过过采样和欠采样以及它们的改进方式。本篇博客，介绍不平衡问题可以采样的算法。一、代价敏感学习在通常的学习任务中，假定所有样本的权重一般都是相等的，或者说误分类成本是相同的。但是在大多数实际应用中，这种假设是不正确的。最简单的例子就是在医疗中的癌症诊断，产生的误判导致的过晚的治疗将会危及患者生命；另外还有在风控领域，...

2018-11-04 23:43:00 498

转载不平衡数据集的处理

一、不平衡数据集的定义所谓的不平衡数据集指的是数据集各个类别的样本量极不均衡。以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下通常情况下把多数类样本的比例接近100:1这种情况下的数据称为不平衡数据。不平衡数据的学习即需要在分布不均匀的数据集中学习到有用的信息。不平衡数据集的处理方法主要分为两个方面：1、从数据的角度出发，主要方法为采样，分为欠采样和过采...

2018-10-21 21:39:00 2929

转载 Word2vec之CBOW

一、Word2vecword2vec是Google与2013年开源推出的一个用于获取word vecter的工具包，利用神经网络为单词寻找一个连续向量看空间中的表示。word2vec是将单词转换为向量的算法，该算法使得具有相似含义的单词表示为相互靠近的向量。此外，它能让我们使用向量算法来处理类别，例如着名等式King−Man+Woman=Queen。　　　　　　　...

2018-10-08 10:52:00 597

转载特征选择

一、特征选择基本问题我们将属性称为“特征”（feature），对当前学习任务有用的属性称为“相关特征”（relevant feature）、没什么用的属性称为“无关特征”（irrelevant feature）。从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”（feature select）。1-1、为什么要进行特征选择第一，为了处理维数灾难（减轻维数灾难的另...

2018-09-24 23:11:00 498