深度学习与自然语言处理
文章平均质量分 93
探索人工智能
IT__learning
这个作者很懒,什么都没留下…
展开
-
NLP 语义相似度常用计算方法总结
概述总文本相似度的计算方法主要分为三大类:一类是基于统计学的计算方法,此种方法在计算时没有考虑文本的句子结构信息和语义信息,计算的结果有时会与人对自然语言的理解不相符合;另一类是基于语义理解的计算方法,这种方法依赖于具有层次结构关系的语义词典,计算结果相对准确,与人对自然语言的理解较为符合;第三种类是基于深度学习的计算方法。1、基于向量空间模型的计算方法向量空间模型简称 VSM,是 Vector Space Model 的缩写,是应用较为广泛的一种信息检索模型。在此模型中,文本被看作是由一系列相互独立原创 2021-12-11 22:50:03 · 13479 阅读 · 0 评论 -
Bert 模型学习
一、Bert 模型BERT 模型的全称是 BidirectionalEncoder Representations from Transformer,基于 Transformer 的双向编码器表示,是一个预训练的语言表征模型,它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的 masked language model(MLM),以致能生成深度的双向语言表征。BERT 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的 Repres原创 2021-10-15 13:18:18 · 28330 阅读 · 0 评论 -
hugging face 模型库的使用及加载 Bert 预训练模型
一、hugging face 模型库Hugging face 是一个专注于 NLP 的公司,拥有一个开源的预训练模型库 Transformers ,里面囊括了非常多的模型例如 BERT、GPT、GPT2、ToBERTa、T5 等。官网的模型库的地址如下:Hugging face 模型库官网Hugging face 提供的 transformers 库主要用于预训练模型的载入,需要载入三个基本对象:from transformers import BertConfigfrom transformer原创 2021-10-13 20:50:39 · 28520 阅读 · 6 评论 -
NLP —— 文本预处理
一、分词简介分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道,在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单划界,唯独词没有一个形式上的分界符, 分词过程就是找到这样分界符的过程。举个栗子:工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作==>[‘工信处’, ‘女干事’, ‘每月’, ‘经过’, ‘下属’, ‘科室’, ‘都’, ‘要’, ‘亲口’, ‘交代’, ‘24’, ‘口’, ‘交换机’,原创 2021-09-14 13:33:32 · 2506 阅读 · 0 评论 -
图像预处理
一、PIL 库对于图像识别,大量的工作在于图像的处理,处理效果好,那么才能很好地识别。因此,良好的图像处理是识别的基础。在 Python中 有一个优秀的图像处理框架,就是 PIL 库。PIL 非常适合于图像归档以及图像的批处理任务。你可以进行旋转、镜像、对比度、亮度、平移、锐度、模糊、裁剪和缩放等数据增强操作。PIL 包括了基础的图像处理函数,包括对点的处理,使用众多的卷积核 (convolution kernels) 做过滤 (filter) ,还有颜色空间的转换。PIL 库同样支持图像的大小转换,原创 2021-08-09 22:11:21 · 2127 阅读 · 0 评论 -
SE 注意力模块
一、SE 模块的结构SE 模块主要包含 Squeeze 和 Excitation 两部分。W,H 表示特征图宽,高。C 表示通道数,输入特征图大小为 W×H×C。1、压缩(Squeeze)第一步是压缩(Squeeze)操作,如下图所示:这个操作就是一个全局平均池化(global average pooling)。经过压缩操作后特征图被压缩为1×1×C向量。2、激励(Excitation)接下来就是激励(Excitation)操作,如下图所示:由两个全连接层组成,其中SERatio是原创 2021-08-02 15:55:32 · 16360 阅读 · 7 评论 -
全连接层与 GAP
全连接层全连接层一般会放在网络的最后,作用是用来综合所有信息。先把卷积层生成的图像降维成一维向量,然后全连接层把一维向量转化成指定个数的单元值。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;前层是卷积层的全连接层可以转化为卷积核为 h * w 的全局卷积,h和w分别为前层卷积结果的高和宽。(1)展平操作原创 2021-08-01 22:12:15 · 3699 阅读 · 2 评论 -
卷积神经网络的改进 —— 分组卷积、DW 与 PW
1、普通卷积对于一张5×5像素、三通道彩色输入图片(shape为5×5×3)。经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4),最终输出4个Feature Map,如果有same padding则尺寸与输入层相同(5×5),如果没有则为尺寸变为3×3。此时,卷积层共4个Filter,每个Filter包含了3个Kernel,每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算:N_std = 4 × 3 × 3 × 3 = 108运算量可以用如下原创 2021-07-26 13:42:19 · 6092 阅读 · 2 评论 -
卷积神经网络如何提取特征
图像在计算机中的存储图像其实就是一个像素值组成的矩阵。1、黑白或灰度图像如何存储在计算机中在这里,我们已经采取了黑白图像,也被称为一个灰度图像。这是数字8的图像。现在,如果我们进一步放大并且仔细观察,你会发现图像变得失真,并且你会在该图像上看到一些小方框。这些小方框叫做 Pixels。我们经常使用的图像维度是X x Y。这实际上是什么意思?这意味着图像的尺寸就是图像的高度(x)和宽度(y)上的像素数。在这种情况下,高度为24像素,宽度为16像素。因此,此图像的尺寸将为24 x 16。尽原创 2021-07-25 20:45:58 · 32858 阅读 · 16 评论 -
Pytorch 学习
一、简介PyTorch 是一个基于 Torch 的 Python 开源机器学习库(Python+Torch(深度学习框架)),由Facebook的人工智能研究小组开发。Pytorch类似于Numpy,可以使用GPU,运行在CUDA上;内置动态图,可以定义深度学习模型,可灵活的进行训练和应用。(1)PyTorch 基于Python的科学计算包,服务于以下两种场景:● 作为NumPy的替代品,可以使用GPU的强大计算能力● 提供最大的灵活性和高速的深度学习研究平台(2)PyTorch 是一个 P原创 2021-07-14 20:26:18 · 2801 阅读 · 4 评论 -
卷积神经网络CNN 常用模型
一、CNN 简介CNN的精华是:三概念两核心,这里做个简要的概要性介绍。1、CNN 两核心——卷积和池化(1)卷积主要起到作用是抽取特征,使网络具有一定转移不变性,也有一定降维的作用。概述:设定一个n行m列的卷积窗口,采用的relu(elu,leakyrelu)做为激活函数函数,对输入X进行卷积操作。注意:卷积可能单通道或者多通道卷积;积操作时分为 padding 和非 padding 两种方式,padding 也分为很多方式,比如zero-padding,mean-padding等;对同一个输翻译 2021-07-13 16:51:07 · 12938 阅读 · 1 评论 -
损失函数、梯度下降法与反向传播算法
一、损失函数损失函数(loss function)也叫代价函数(cost function),用来度量我们的模型得到的的预测值和数据真实值之间的差距,也是一个用来衡量我们训练出来的模型泛化能力好坏的重要指标。损失函数是神经网络优化的目标函数,神经网络训练或者优化的过程就是最小化损失函数的过程(损失函数值小了,对应预测的结果和真实结果的值就越接近)。1、二次代价函数均方误差(MSE)度量的是预测值和实际观测值间差的平方的均值。它只考虑误差的平均大小,不考虑其方向。但由于经过平方,与真实值偏离较原创 2021-07-11 17:06:15 · 4258 阅读 · 2 评论 -
卷积在图像处理中的应用
卷积运算1、卷积定义我们称 ( f*g )(n) 为 f,g 的卷积。● 其连续的定义为:● 其离散的定义为:这两个式子有一个共同的特征:观察上面两个式子你会知道,所谓卷积就是先对 g 函数进行翻转(一维)或者旋转(二维),相当于在数轴(一维)上把 g 函数从右边褶到左边去,这也就是褶积的“褶”的由来(小编认为“褶”比“卷”更准确)。然后再把 g 函数平移 n,在这个位置 f,g 两个函数的对应点相乘,然后相加,这个过程是卷积的“积”的过程。2、卷积例子(1)离散卷积:丢骰子我有原创 2021-07-10 18:19:28 · 7626 阅读 · 8 评论 -
图像处理基础知识
图像1、模拟图像模拟图像,又称连续图像,是指在二维坐标系中连续变化的图像,即图像的像点是无限稠密的,同时具有灰度值(即图像从暗到亮的变化值)。2、数字图像数字图像,又称数码图像或数位图像,是二维图像用有限数字数值像素的表示。数字图像是由模拟图像数字化得到的、以像素为基本元素的、可以用数字计算机或数字电路存储和处理的图像。通常的二维数字图像是一个矩阵,可以用一个二维数组 f(x,y) 来表示,其中 x,y 是二维空间中的某坐标系的坐标,f(x,y) 表示图像在该点处的灰度值等性质。3、颜原创 2021-07-09 19:26:10 · 19829 阅读 · 0 评论 -
卷积神经网络 CNN 学习
什么是神经网络人工神经网络(artificial neural network,ANN),简称神经网络(neural network,NN),是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具,常用来对输入和输出间复杂的关系进行建模,或用来探索数据的模式。神经网络由神经元、节点与节点之间的连接(突触)所构成,如下图:每个神经网络单元抽象出原创 2021-07-08 22:03:19 · 7645 阅读 · 10 评论