- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 两层全连接网络的构建及求参数梯度的代码实现
两层全连接网络的构建及求参数梯度的代码实现上一篇文章写了使用softmax进行多类别分类时使用的交叉熵损失函数对softmax输入单元求导的公式推导。最后求出来的导数非常简单，我不禁感叹设计者的睿智。这篇文章我将利用上次的推导结果实现一个简单的两层全连接神经网络用于多类别分类。代码将给出网络的前向传播过程、求loss损失、以及对网络中参数的求梯度。代码的实现用到了numpy，并没有使用更高级的深...
2019-02-21 09:56:51
1460
原创 交叉熵损失函中对softmax函数输入单元求导过程
最近在回顾关于深度学习的基础知识。在求神经网络梯度的时候损失函数对于网络最后一层输入单元的求导是比较有技巧的。比如在多类别分类任务中经常用交叉熵损失函数训练softmax来输出目标值y。这一组合在对softmax输入单元的求梯度会非常简单，而且损失函数中的log可以抵消softmax中的exp。下面我就来推导交叉熵损失函中对softmax函数输入单元求导过程。 下图便是手动推导过程，我们的...
2019-02-18 11:00:55
724
原创 基于神经网络的依存句法分析总结及代码详解
上一篇文章CS224n之句法分析总结，介绍了句法分析以及具体的依存分析中的arc-standard算法。arc-standard系统是transition systems中最流行的一个系统之一。而本文将介绍一个基于神经网络的依存句法分析器，它基于arc-standard 系统，使用分类器根据从配置信息中提取的特征来预测正确的转换操作。尽管它的性能比基于搜索的解析器略差，但是它的计算效率非常高。本代...
2018-08-29 16:58:18
8977
4
原创 CS224n之句法分析总结
CS224n这门课涉及的知识点是很全面的，对于之前一直研究机器翻译的我来说没有接触过句法分析这方面的知识，所以这节课可以带我弥补知识的漏洞。当然想要深入了解句法分析光看视频也是没用的，只能算是一个入门。这篇博客我会介绍在学习句法分析时的初步理解。以及在下一篇博客中我会对 Neural Transition-Based Dependency Parsing 基于神经网络的依存句法解析算法及代码进行梳...
2018-08-28 17:26:47
2535
原创 浅层神经网络总结
最近又重新温习了吴恩达的《深度学习》课程，再看一遍时还是产生了许多感悟。吴大佬的视频真的非常不错，通俗易懂，适合入门。所以我趁热打铁，写一个笔记形式的博客，表达对视频课程的理解和感悟。同时一些内容还会集合其他的书籍或博客。什么是神经网络？这里的神经网络是指人工神经网络 (Artificial Neural Network)，它由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种...
2018-06-26 20:23:20
9772
4
原创 使用PyTorch对cifar-10图片分类
使用PyTorch对cifar-10图片分类前言最近刚学习了PyTorch，主要是在PyTorch主页教程里面学习。不过这个教程是英文的，学习起来比较费劲。因此我自己对PyTorch对cifar-10图片分类这一部分进行了总结，因为光对着代码看很容易乱，所以将整个过程的流程整理出来，方便理解。程序流程一、数据预处理图片转化为Tensor将数据归一化为训练集、测试集...
2018-03-25 17:36:52
5019
2
原创 TensorFlow实现Word2Vec
TensorFlow实现Word2Vec上一章我们讲了Word2Vec的原理推导，详细介绍了Word2Vec的来龙去脉。这一章会讲解使用Skip-Gram模型，用TensorFlow实现Word2Vec的代码。本章着重讲定义训练模型的可新代码，对于数据的读取不详细讲解。导入包import collectionsimport mathimport osimport rand...
2018-03-22 15:13:49
2172
6
原创 超详细总结之Word2Vec（一）原理推导
本章是介绍Word2Vec的原理推导部分，后面还会有基于TensorFlow的Word2Vec代码实现讲解。一、什么是Word2Vec？2013年，Google团队发表了word2vec工具。word2vec工具主要包含两个模型：跳字模型（skip-gram）和连续词袋模型（continuous bag of words，简称CBOW），以及两种高效训练的方法：负采样（negative s...
2018-03-18 16:24:17
90296
36
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人