深度学习
文章平均质量分 75
前行的zhu
程序员小白的前行之路
展开
-
一个小例子搞懂transformer中的label smoothing(标签平滑)
我们知道transformer中的正则化除了使用常见的dropout,还使用了label smoothing,也就是标签平滑。关于标签平滑的机制,我在网上也看了一些帖子,总觉得说的不是很透彻,所以自己琢磨了一下,打算以二分类的逻辑回归为例,说明一下具体的标签平滑是如何做的。标签平滑既然作为正则化的一种方式,目的肯定是为了防止模型过拟合。我个人的理解是,加入了标签平滑后可以使得模型不至于过度学习,因为就算一个样本分到某类的概率为十分接近1,目标函数仍然会增加一定的损失,这就减轻了模型过度学习的动力。下面我原创 2020-06-07 19:26:40 · 3289 阅读 · 3 评论 -
深度学习各种优化器简介
深度学习中的优化器的思想来源基本上都是梯度下降(Gradient Descent)根据以上框架,我们来分析和比较梯度下降的各种变种算法。Vanilla SGD(朴素SGD)朴素SGD最为简单且没有动量的概念。注意这里的I2是指单位矩阵的平方。SGD的缺点在于收敛速度慢,可能在鞍点处震荡,并且如何选择学习率是SGD的一大难点。Momentum(动量法)SGD在遇到沟壑时容易陷入震荡。为此可以为其引入动量(Momentum),加速SGD在正确的方向下降并抑制震荡。SGD-M在原步长的基础上原创 2020-05-29 15:57:59 · 2068 阅读 · 0 评论 -
win10下快速安装labellmg
win10下快速安装labellmglabellmg是一个十分常用的图像标定工具,可用于生成自己的PASCAL VOC格式的图像数据集,进而用于R-CNN,YOLO,SSD等目标检测模型的训练。经相关朋友的耐心帮助,作为计算机小白的我还是在windows环境下成功的安装了labellmg。下面简单介绍一下labellmg安装的步骤以及所需要注意的事项,主体是借鉴了朋友的安装流程,但感觉可能对小...原创 2019-07-08 01:07:57 · 5347 阅读 · 4 评论 -
win10快速进入labellmg
本文是紧跟着我的第一篇博客,是为了简化打开labellmg的流程,从而可以快速的进入labellmg界面。原创 2019-07-09 16:00:06 · 1422 阅读 · 0 评论 -
tensorflow中卷积函数tf.nn.conv2d和池化函数tf.nn.max_pool中参数的意义
tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format=“NHWC”, name=None):input:输入的tensor对象(x),会对该值进行卷积操作。默认形状为:[batch_size, height, width, channels], batch_size表示一个批次中的样本数目...原创 2019-08-08 10:58:23 · 210 阅读 · 0 评论 -
Windows环境下如何安装并搭建自然语言处理库HanLP
HanLP是由一系列模型与算法组成的工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点;提供词法分析(中文分词、词性标注、命名实体识别)、句法分析、文本分类和情感分析等功能。(以上介绍来自官网:http://www.hanlp.com/#overview 同时也附上GitHub上的地址(这里面介绍更全面):https://gith...原创 2019-08-15 11:22:53 · 586 阅读 · 1 评论 -
词向量Word2Vec(深度细致分析)
词向量方法是无监督学习的少数几个成功应用之一优点在于不需要人工进行语料的标注,直接使用未标注的文本训练集作为输入,输出的词向量可以用于下游的业务处理,word2vec可以认为时应用最广泛的词向量转换技术。在了解word2vec之前,首先得了解一下传统的神经网络是如何表示词向量的,传统的神经网络将词表中的词语作为输入(一般输入的是单词的哑编码),输出一个低纬度的向量表示这个词语,然后用反向传播的方...原创 2019-09-19 20:27:09 · 9970 阅读 · 8 评论 -
深度学习——RNN(2)双向RNN深度RNN几种变种
https://cloud.tencent.com/developer/article/1144238添加链接描述转载 2019-09-21 16:46:32 · 351 阅读 · 0 评论 -
Transformer完全图解
在学习Transformer之前,你需要学习一下Seq2Seq Attention的内容,可以参考:几张图彻底搞定Seq2SeqSeq2Seq Attention(这三篇就够了,精心发掘整理)Seq2Seq Attention输入输出维度分析(最全面细致)好了,那下面进入正文Transformer在2017年Google的一篇论文“Attention Is All You Need”被提...原创 2019-10-09 16:24:08 · 7166 阅读 · 2 评论