- 博客(30)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深度学习中的标签平滑正则化（Label Smoothing Regularization）方法原理详解
论文：https://arxiv.org/pdf/1512.00567.pdf(一)、为什么有标签平滑正则化（Label Smoothing Regularization, LSR）的方法?在深度学习样本训练的过程中，我们采用one-hot标签去进行计算交叉熵损失时，只考虑到训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略了错误标签位置（one-hot标签为0的位置）的损...
2019-08-31 00:16:31
13879
9
原创 准确率，精确率，召回率以及F1 score详解
(一)、什么是准确率？准确率是指分类正确的样本占总样本个数的比例，其定义如下所示：Accuracy=ncorrectntotalAccuracy=\frac{n_{correct}}{n_{total}}Accuracy=ntotalncorrect其中AccuracyAccuracyAccuracy指的是准确率，ncorrectn_{correct}ncorrect指的是被分类正确的...
2019-08-30 14:50:42
3564
原创 Pytorch中的train和eval模式详解
(一)、model.train()和model.eval()分别在训练和测试中都要写，它们的作用如下：(1)model.train()启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为True(2).model.eval()不启用 BatchNormalization 和 Dropout，将BatchNormaliza...
2019-08-29 21:52:26
12785
2
原创 tensorflow之tf.tensordot详解
tf.tensordot是tensorflow中tensor矩阵相乘的API，可以进行任意维度的矩阵相乘(1).tf.tensordot函数详细介绍如下:tf.tensordot( a, b, axes, name=None)"""Args: a:类型为float32或者float64的tensor b:和a有相同的type,即张量同类型,...
2019-08-29 20:47:25
16232
3
原创 Pytorch之torch.nn.functional.pad函数详解
torch.nn.functional.pad函数是PyTorch内置的矩阵填充函数(1).tensor进行paddingtorch.nn.functional.pad(input, pad, mode,value ) Args: """ input：四维或者五维的tensor Variabe pad：不同Tensor的填充方式 1.四维Tensor：传入四元素tuple(pad_...
2019-08-28 18:20:16
43112
17
原创 conda安装opencv，imgaug库
1.add channels conda-forge，防止不能识别anaconda包的问题conda config --add channels conda-forge2.安装opencvconda install -c conda-forge opencv3.安装imguageconda install -c conda-forge imgaug...
2019-08-28 13:56:28
896
原创 面部识别系统流程
论文：Face Recognition: From Traditional to Deep Learning Methods(一)、什么是人脸识别?广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域，它属于生物特征识...
2019-08-27 13:44:10
1588
原创 深度学习中的gelu激活函数详解
论文：gaussian error linear units(一)、什么是gelus激活函数?gelus（gaussian error linear units）就是我们常说的高斯误差线性单元，它是一种高性能的神经网络激活函数，公式如下：(1)xP(X≤x)=xΦ(x){xP(X \le x)=x\Phi(x)}\tag{1}xP(X≤x)=xΦ(x)(1)计算结果大约为:(2)0.5x(1+...
2019-08-26 23:47:20
21513
原创 CSDN中的Markdown常用公式、符号以及相关使用技巧
单行公式用：$公式$，即公式写在两个$符号中间多行公式用：$$公式$$，即公式写在四个$符号中间，公式两边分别两个$常用公式：Markdown数学公式及符号大全Markdown使用教程：Markdown简明教程...
2019-08-26 23:30:20
513
原创 面部识别算法中的损失函数A-softmax loss详解
论文1：SphereFace: Deep Hypersphere Embedding for Face Recognition论文2：ArcFace: Additive Angular Margin Loss for Deep Face Recognition(一)、原始的（普通的）Softmax函数是什么？在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数...
2019-08-25 01:06:14
2793
3
原创 深度学习中的Adam优化算法详解
Adam论文：https://arxiv.org/pdf/1412.6980.pdf(一)、什么是Adam算法?Adam（Adaptive method）是一种随机优化方法（A method for stochastic optimization）,经常作为深度学习中的优化器算法。(二)、Adam算法如何实现？(1). 上图就是Adam优化算法在深度学习应用于梯度下降方法的详细过程,有...
2019-08-23 01:22:12
31812
6
原创 深度学习中的滑动平均算法原理详解
(一)、什么是一阶滞后滤波?一阶滞后滤波是一种数据平滑的手段，通过对本次采样值与上次滤波输出，做概率加权叠加，有效的使得了每次数据的滤波结果不仅仅与本次采样有关还与上次的输出有关，保证了每次的滤波输出都会一定程度上受上次滤波结果的影响，一般来说，这种影响在这种机制中都会占很大权重，即上次滤波输出的概率权重远大于本次采样的概率权重，从而可以使得滤波结果可以很平滑的从上次滤波结果过渡到本次滤波结果，...
2019-08-21 03:13:29
5508
原创 使用Google Colaboratory部署深度学习项目
一、创建一个Google云端硬盘账号二、在Google创建一个新文件夹，并将你的深度学习项目上传到这个新文件夹中三、在Google云端硬盘上将目录切换到新创建的项目文件夹,在当前文件夹中右键点击空白处会显示一个目录，选择"更多"，点击"Google Colaboratory"创建你的项目运行ipynb文件四、在你创建的ipynb文件中选择"修改"->“笔记本设置”，将硬件加速器设置为G...
2019-08-20 20:04:31
1084
原创 Bert文本分类run_classifier的预测模块修改
修改位置1:run_classifier.py model_fn() 函数中：源码1:else: output_spec = tf.contrib.tpu.TPUEstimatorSpec( mode=mode, predictions=probabilities, scaffold_fn=scaffold_fn)替换源码1:elif mode == tf.estimator.Mo...
2019-08-20 00:18:24
1532
2
原创 将Bert抽取语言表征模型修改为GPU运行
tf.estimator.EstimatorSpec优化器类：1.predict:只需要传入参数mode和predictions2.eval(评估模式):需要传入参数mode,loss,eval_metric_ops3.train:需要传入参数mode,loss,train_op（一):Bert抽取特征语言模型修改(GPU运行配置)修改位置1:2run_pretraining.py ma...
2019-08-20 00:09:34
4817
11
原创 自然语言理解发展历程
(一)NNLM(Neural Network language model):简述：通过多个上文输入,预测输出,应用了word Embeding方法,但是此word Embeding是没有上下文的word Embeding,也就是word直接用one-hot表示,然后乘以一个向量权重矩阵（这个向量矩阵其实就是word Embedding向量矩阵,是我们训练得到的）得到该word的word Emb...
2019-08-18 01:24:08
1567
原创 梯度裁剪tf.clip_by_norm and tf.clip_by_global_norm
(一)、为什么要进行梯度裁剪?防止训练过程中,梯度回传的时候，梯度过大,导致模型振荡，不稳定,难以训练,即传说中的防止梯度爆炸。(二)、什么是范数?范数(norm)是数学中的一种基本概念，最常用的就是p-范数.假设一个向量为:1-范数:2-范数:在梯度裁剪的条件判断过程中,仅仅是向量变成关于梯度的向量,或者使用所有梯度的向量而已(三)、tensorflow实现的梯度裁剪两个...
2019-08-16 02:40:53
1429
原创 Warmup预热学习率
学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种(一)什么是Warmup?Warmup是在ResNet论文中提到的一种学习率预热的方法,它在训练开始的时候先选择使用一个较小的学习率,训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习率来进行训练.(二)为什么使用Warmup?由于刚开始...
2019-08-16 00:55:34
45039
6
原创 tf.nn.embedding_lookup函数以及对嵌入表示的理解
假设有一组分类,总共有5个类别,我们对所有类别进行one-hot(哑编码),则编码后[1,0,0,0,0]为类别1,[0,1,0,0,0]为类别2,[0,0,1,0,0]为类别3,[0,0,0,1,0]为类别4,[0,0,0,0,1]为类别5.若类别过多,该如何处理?我们用one-hot表示,就有可能使得训练参数过于庞大,而且不能表示不同类别之间的相似度,于是我们想到了嵌入(Embeding)方式...
2019-08-15 12:48:53
1239
1
原创 tensorflow无法使用GPU
选用默认设备计算import tensorflow as tfwith tf.device('/gpu:0'):#选用默认设备(gpu:0)计算以下张量 inputs = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b') weights = tf.constant([1.0, 2.0, 3.0...
2019-08-14 18:04:46
3076
原创 python实现文本分割
文本分割是自然语言理解数据预处理中的重要步骤,本段程序实现的是用"，。？！…”分割文章,并且分割子句单句成行import re pattern = r"([，。？！…])" #正则匹配模式flags = ["，","。","？","！","…"]sentence_txt = []with open("./train.txt","r",encoding="utf-8") as reade...
2019-08-13 18:28:17
11750
原创 Seq2Seq模型
Seq2Seq,全称为Sequence to Sequence模型(序列到序列模型,目前还没有很好的翻译),意思可以解释为将一个序列信号(词序列,字序列),通过编码和解码生成一个新的序列信号(词序列,字序列),通常用于机器翻译、图片描述、自动对话、语音识别等领域(一)什么是Seq2Seq模型？seq2Seq模型的核心思想，通过深度神经网络将一个作为输入的序列信号转换位输出的序列信号，这一过程由...
2019-08-12 00:41:11
4859
翻译 CIFAR10分类算法记录
“”"CIFAR-10共有60000张图片,60000张图片共有10个分类,每个分类大概6000张,训练集共有50000张图片,测试集共有10000张图片,训练集每个分类约有5000张图片,测试集每个分类约有1000张图片,训练集分5个批次,每个批次约有10000张图片,测试集只有一个批次,该批次有10000张图片图片分类训练模型"""import tensorflow as tf...
2019-08-07 11:15:28
1643
原创 numpy实现简单的BP(Backpropagation)算法
import numpy as npimport pandas as pd构建了一个简单的三层BP网络three layers:input layey->hidden layer->output layer class BPNeuralNetwork(object): def __init__(self, input_nodes, hidden_nodes, ...
2019-08-07 00:32:33
756
原创 tf.train.Saver() 与tf.train.import_meta_graph要点
（一）tf.train.Saver()(1)tf.train.Saver() 是用来保存tensorflow训练的模型的(2)用来加载参数,注意:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载包括meta文件中的图也不加载（二）tf.train.import_meta_graph(1)用来加载meta文件中的图,以及图上定义的结点参数包括权重偏置项等需要训练的参数...
2019-08-07 00:11:49
13018
3
原创 特征金字塔(Feature Pyramid Network)
特征金字塔论文地址:https://arxiv.org/abs/1612.03144**（a）**使用图像金字塔构建特征金字塔。特征是根据每个不同大小比例的图像独立计算的，每计算一次特征都需要resize一下图片大小,耗时，速度很慢。**（b）**该金字塔网络是一个高深的卷积神经网络,对不同尺寸的图片进行垂直目标检测,同时搞定多种尺寸的目标难度较大。**（c）**重用由卷积计算的金字塔特征层...
2019-08-05 11:12:23
1434
可逆信息隐藏项目.zip
2019-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人