深度学习
文章平均质量分 61
onion___
这个作者很懒,什么都没留下…
展开
-
PyTorch提高(三)fastai
一、介绍fastai将训练一个准确的神经网络变得十分简单。fastai库是基于他的创始人Jeremy Howard 等人开发的 Deep Learning 课程深度学习的研究,为计算机视觉、文本、表格数据、时间序列、协同过滤等常见深度学习应用提供单一、一致界面的深度学习库,可以做到开箱即用。这意味着,如果你已经学会用fastai创建实用的计算机视觉(CV)模型,那你就可以用同样的方法创建自然语言处理(NLP)模型,或是其他模型。fastai 是目前把易用性和功能都做到了极致的深度学习框架,正如Jerem原创 2022-05-03 11:05:50 · 368 阅读 · 0 评论 -
PyTorch提高(二)可视化
Visdom可视化Visdom是Facebook在2017年发布的一款针对PyTorch的可视化工具。安装Visdom的安装很简单,直接使用命令pip install visdom安装即可。 在安装完成后,使用命令python -m visdom.server 在本地启动服务器,启动后会提示It’s Alive! You can navigate to http://localhost:8097 这就说明服务已经可用,我们打开浏览器,输入http://localhost:8097 即可看到页面。端口原创 2022-04-29 16:35:00 · 324 阅读 · 0 评论 -
PyTorch提高(一)Fine-tuning
Fine tuning 模型微调一. 什么是微调针对某一个任务,当自己训练数据不多时,我们可以找一个同类的别人训练好的模型,换成自己的数据,调整一下参数,再训练一遍,这就是微调。为什么要微调数据集本身很小,从头开始训练具有几千万参数的大型神经网络是不现实的。降低训练成本站在巨人的肩膀上,没必要重复造轮子迁移学习迁移学习几乎都是用在图像识别方向的。迁移学习的初衷是节省人工标注样本的时间,让模型可以通过一个已有的标记数据的领域向未标记的数据领域进行迁移,从而训练出适用该领域的模型。迁移学原创 2022-04-29 16:14:49 · 285 阅读 · 0 评论 -
PyTorch实战(三)通过sin预测cos
循环神经网络十分擅长处理时间相关的数据,下面我们就通过输入sin函数,输出cos函数来实际应用import torchimport torch.nn as nnfrom torch.nn import functional as Ffrom torch import optimimport numpy as npfrom matplotlib import pyplot as pltimport matplotlib.animationimport math, random#定义超参数原创 2022-04-11 19:46:41 · 1603 阅读 · 0 评论 -
PyTorch实战(二)MNIST手写体数字识别
数据集介绍MNIST包括6万张28x28的训练样本,1万张测试样本,被称为是CV里的“Hello World”手写数字识别实现import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transforms#定义参数batch_size = 512epochs = 20device = torch原创 2022-04-11 09:16:36 · 322 阅读 · 0 评论 -
PyTorch实战(一)logistic回归二元分类
Logistic回归介绍logistic回归是一种广义线性回归,与多重线性回归有很多相同之处。它们的模型形式基本上相同,都有wx+b,但是区别在于,多重线性回归直接将y=wx+b作为因变量,而logistic回归是通过一个函数L将wx+b对应一个隐状态p, p = L(wx+b),然后根据p和1-p的大小决定因变量的值。如果L是logistic,那么就是logistic回归,如果L是多项式,那么就是多项式回归。说的简单点,就是logistic回归就是在线性回归外边加一层logistic函数的调用。lo原创 2022-04-10 10:17:47 · 2326 阅读 · 2 评论 -
PyTorch基础(五)循环神经网络
RNN简介我们的大脑区别于机器的一个最大的特征就是我们有记忆,并且能够根据自己的记忆对未知事物进行推导,我们的思想拥有持久性的。但是本教程目前所介绍的神经网络结构各个元素之间是相互独立的,输入与输出是独立的。RNN的起因现实世界中,很多元素都是相互连接的,比如室外的温度是随着气候的变化而周期性的变化的、我们的语言也需要通过上下文的关系开确认所表达的含义。但是机器要做到这一步就相当困难了。因此,就有了现在的循环神经网络,他们的本质是:拥有记忆的能力,并且会根据这些记忆的内容来进行推断。因此,他的输出就依原创 2022-04-08 20:53:32 · 1049 阅读 · 0 评论 -
PyTorch基础(四)卷积神经网络
为什么要使用卷积神经网络?对于计算机视觉来说,每一个图像是由一个个像素点构成,每个像素点有三个通道,分别代表RGB三种颜色(不计算透明度),我们以手写识别的数据集MNIST举例,每个图像的是一个长宽均为28,channel为1的单色图像,如果使用全连接的网络结构,即,网络中的神经与相邻层上的每个神经元均连接,那就意味着我们的网络有28 28 =784个神经元(RGB3色的话还要3),hidden层如果使用了15个神经元,需要的参数个数(w和b)就有:28 28 15 * 10 + 15 + 10=1176原创 2022-04-06 16:18:42 · 3388 阅读 · 1 评论 -
PyTorch基础(三)神经网络简介
神经网络简介1、 概述在生物神经网络中,每个神经元与其他神经元相连,当它兴奋时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个阈值,那么它就会激活,即兴奋起来并向其他神经元发送化学物质。在深度学习中也借鉴了这样的结构,每一个神经元(上面说到的简单单元)接受输入x,通过带权重w的连接进行传递,将总输入信号与神经元的阈值进行比较,最后通过激活函数处理确定是否激活,并将激活后的计算结果y输出,而我们所说的训练,所训练的就是这里面的权重w。2、 神经网络的表示3原创 2022-04-05 21:06:17 · 187 阅读 · 0 评论 -
PyTorch基础(二)深度学习及数学原理
1. 机器学习方法:监督学习:通过已有的训练样本去训练得到一个最优模型,再利用这个模型将所有的输入映射为相应的输出。无监督学习:与监督学习不同的是,我们事先没有任何训练样本,而需要直接对书籍进行建模。半监督学习:在训练阶段结合了大量未标记数据和少量标签数据。与使用所有标签数据的模型相比,使用训练集的训练模型在训练时可以更加准确。强化学习:我们设定一个回报函数,通过这个函数来确认是否越来越接近目标,类似我们训练宠物,如果作对了就给他奖励,做错了就给惩罚,最后达到我们的训练目的。这里只着重介绍监督原创 2022-04-05 17:53:03 · 1690 阅读 · 0 评论 -
PyTorch基础(一)
1. 张量在同构的意义下:第零阶张量 (r = 0) 为标量 (Scalar),第一阶张量 (r = 1) 为向量 (Vector),第二阶张量 (r = 2) 则成为矩阵 (Matrix),第三阶以上的统称为多维张量。如果张量中只有一个元素,可以用tensor.item()取出其数值Tensor的基本数据类型有五种:32位浮点型:torch.FloatTensor。 (默认)64位整型:torch.LongTensor。32位整型:torch.IntTensor。16位整型:tor原创 2022-03-29 15:41:03 · 448 阅读 · 0 评论 -
NLP会议期刊
对于NLPer而言,了解科研动态最好的方法就是关注顶会论文,与NLP相关的比较有影响力的顶会主要有ACL、EMNLP、NAACL、COLING、ICLR、AAAI、CoNLL、NLPCC等。其中,ACL、NAACL、EMNLP、COLING被称为是NLP领域的四大顶会。ACLhttps://www.aclweb.org/portalEMNLPhttp://emnlp2018.orgNACALhttp://naacl.orgCOLINGhttp://coling2018.or原创 2022-03-25 17:17:57 · 1859 阅读 · 0 评论 -
Pytorch入门(三)训练一个分类器
训练一个图像分类器依次按照下列顺序进行:使用torchvision加载和归一化CIFAR10训练集和测试集定义一个卷积神经网络定义损失函数在训练集上训练网络在测试集上测试网络1. 读取和归一化 CIFAR10#使用torchvision可以非常容易地加载CIFAR10。import torchimport torchvisionimport torchvision.transforms as transforms#torchvision的输出是[0,1]的PILImage图像,原创 2022-03-21 19:21:48 · 2398 阅读 · 0 评论 -
Pytorch入门(二)神经网络
神经网络的典型训练过程如下:定义包含一些可学习的参数(或者叫权重)神经网络模型;在数据集上迭代;通过神经网络处理输入;计算损失(输出结果和正确值的差值大小);将梯度反向传播回网络的参数;更新网络的参数,主要使用如下简单的更新原则: weight = weight - learning_rate * gradient1. 构建神经网络模型import torchimport torch.nn as nnimport torch.nn.functional as Fclass Net原创 2022-03-21 17:35:35 · 1234 阅读 · 0 评论 -
Pytorch入门(一)基础操作
生成数据:import torchx = torch.rand(5,3) #rand随机生成0-1之间的数print(x)#torch.* 用于创建特殊形式的 tensor,包括 torch.ones()、torch.zeros()等;#torch.*_like() 用于创建一个与已知 tensor 形状相同的 tensor;#torch.new_* 用于创建一个与已知 tensor 类型相同的 tensorx = torch.zeros(5,3,dtype=torch.long) #生成原创 2022-03-21 17:16:01 · 1685 阅读 · 0 评论 -
文本分类综述
文本分类综述相关综述Deep Learning Based Text Classification: A Comprehensive Review一、介绍自动文本分类的方法可以分为两类:• Rule-based methods• Machine learning (data-driven) based methodsTypical TC tasks:sentiment analysisnews categorizationtopic classification.NLU任务:Ques原创 2022-03-18 17:21:08 · 1738 阅读 · 0 评论 -
Transformer
1. 序列到序列任务中的编码器-解码器架构Transformer :通用特征提取器seq2seq (一种任务类型)从原序列到目标序列 例:翻译任务encoder-decoder 完成seq2seq的其中一种网络结构attention机制RNN Encoder-Decoder网络架构使用循环神经网络,将变长源序列X编码成定长(难点)向量表示c,并将学习的定长向量表示c解码成变长木变序列Y。2.序列到序列任务中的注意力机制Seq2Seq with Attention网络架构加权平均原创 2022-03-14 19:56:28 · 1673 阅读 · 0 评论 -
前馈神经网络
@前馈神经网络(FNN)前馈神经网络(英文:Feedforward Neural Network),为人工智能领域中,最早发明的简单人工神经网络类型。在它内部,参数从输入层向输出层单向传播。有异于循环神经网络,它的内部不会构成有向环。常见前馈神经网络感知器网络感知器(又叫感知机)是最简单的前馈网络,它主要用于模式分类,也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。BP网络BP网络是指连接权调整采用了反向传播(Back Propagation)学习原创 2022-03-03 15:17:07 · 1467 阅读 · 0 评论