Deep Learning
Deep Learning从开始到入土
_Zephyrus_
﹎ゞWhy insist, think about the beginning/╱°
展开
-
TensorFlow2.0 Keras的cifar10图像分类
from keras.datasets import cifar10import numpy as npnp.random.seed(10)(x_img_train, y_label_train), (x_img_test, y_label_test) = cifar10.load_data()len(x_img_train)50000len(x_img_test)1000...原创 2019-09-09 09:31:20 · 2156 阅读 · 0 评论 -
TensorFlow2.0 Keras LSTM&RNN模型对IMDb情感分析
下载IMDb数据#下载网站http://ai.stanford.edu/~amaas/data/sentiment/读取IMDb数据from keras.preprocessing import sequencefrom keras.preprocessing.text import TokenizerC:\Users\admin\AppData\Local\conda\conda\...原创 2019-08-22 14:45:48 · 1047 阅读 · 0 评论 -
TensorFlow2.0 Keras CNN识别Mnist数据集
from keras.datasets import mnistfrom keras.utils import np_utilsimport numpy as npnp.random.seed(10)(x_train, y_train), (x_test, y_test) = mnist.load_data()x_train40 = x_train.reshape(x_train.s...原创 2019-08-22 14:37:19 · 2388 阅读 · 4 评论 -
TensorFlow2.0 Keras多层感知器模型imdb情感分类
# 下载import urllib.requestimport osimport tarfileurl = 'http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz'filepath = './data/aclImdb_v1.tar.gz'if not os.path.isfile(filepath): r...原创 2019-08-22 14:34:48 · 1090 阅读 · 2 评论 -
TensorFlow2.0 Keras泰坦尼克数据集预测
import urllib.requestimport osurl = 'http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic3.xls'filepath = './data/titanic3.xls'if not os.path.isfile(filepath): result = urllib.requ...原创 2019-08-22 14:29:59 · 1294 阅读 · 0 评论 -
英语文本处理工具库——spaCy
spaCy的主要操作:分词断句import spacynlp = spacy.load('en')doc = nlp('Hello World! My name is HanXiaoyang')# 分词for token in doc: print('"' + token.text + '"')# 断句for sent in doc.sents: print(sen...原创 2019-10-11 16:59:48 · 761 阅读 · 0 评论 -
Pyorch基础:卷积神经网络
卷积神经网络卷积神经网络由一个或多个卷积层和顶端的全连接层(也可为1x1的卷积层作为输出)组成的一种前馈神经网络。结构组成卷积层卷积计算如图[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TkwveQEO-1589268526758)(9.gif)]定义一个权重矩阵即W(一般对于卷积来说,称作卷积的核kernel也有人称为过滤器filter),这个权重一般为3x3、5x5或7x7。一般3x3和5x5为最佳大小。上图计算方式:在输入矩阵上使用权重矩阵进行滑动,每滑一原创 2020-05-12 15:29:49 · 456 阅读 · 0 评论 -
Pytorch基础-RNN
循环神经网络RNNrnn起因现实世界中,元素都是相互连接的,例如语言需要理解上下文的关系来确认表的含义,但是机器要做到这一步却很难。因此,就有了循环神经网络,本质是:拥有记忆能力,会根据记忆的内容来进行推断。输出依赖当前的记忆和输入RNN是利用顺序的信息,在神经网络中,假设输入和输出相互独立。想要预测句子中的下一个单词,就需要直到它的前面有哪些词语,甚至后边的语句才能给出正确的答案。RNN称循环,是因为它们对序列的每个元素都会执行相同的任务。所有的输出都取决于先前的计算。即RNN是拥有记忆的,可以捕原创 2020-05-12 15:28:25 · 315 阅读 · 0 评论 -
Pytorch基础-logistic回归
import torchimport torch.nn as nnimport numpy as npprint(torch.__version__)1.1.0Logistic回归logistic回归是一中广义线性回归,与多重线性回归分析有很多相同之处。它们模型形式上基本相同,都具有wx+b,其中w和b是待求解参数,区别在于因变量不同,多重线性回归直接将wx+b作为因变量,即y=wx+b,而logistic回归则通过函数L将wx+b对应一个隐状态p,p=L(wx+b),根据p与1-p的大小原创 2020-05-12 15:27:32 · 260 阅读 · 0 评论 -
Pytorch基础:神经网络
神经网络神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,他的组织能够模拟生物神经系统对真实世界物体做出的交互反应在深度学习中也借鉴了这样的结构,每一个神经元接受输入x,通过带权重w的连接进行传递,将总输入的信号与神经元的阈值进行比较,最后通过激活函数处理确定是否激活,并将激活后的计算结果y输出;训练即训练权重w神经网络表示将神经元拼接,两层神经元,即输入层+输出层(M-P)构成感...原创 2020-04-29 09:52:56 · 327 阅读 · 0 评论 -
Pytorch:深度学习基础及数学原理
Pytorch:深度学习基础及数学原理监督学习和无监督学习常见机器学习方法:监督学习:通过已有的训练样本(即已知数据及对应的输出)去训练得到一个最优模型,再利用这个模型将所有的输入映射为相应的输出无监督学习:没有已训练样本,需要对数据进行建模半监督学习:在训练阶段结合大量未标记的数据和少量的标签数据。使用训练集训练的模型在训练时更为准确强化学习:设定一个回报函数,通过这个函数来确认是...原创 2020-04-29 09:44:56 · 739 阅读 · 0 评论 -
Pytorch基础:数据加载和预处理
Pytorch基础L:数据加载和预处理Pytorch通过torch.utils.data对数据实现封装,可以容易的实现多线程数据预读和批量加载import torchtorch.__version__'1.1.0'DatasetDataset是一个抽象类,为方便读取,需要将使用的数据包装为Dataset类。自定义Dataset需要继承它并实现他的两个方法:getitem() 该...原创 2020-04-13 17:17:19 · 432 阅读 · 0 评论 -
Pytorch基础:神经网络和优化器
Pytorch基础:神经网络和优化器torch.nn是为神经网络设计的模块化接口。nn构建与autograd上,可用来定义和运行神经网络nn.functional是神经网络中使用的一些常用的函数,(不具有可学习参数,如ReLU、pool、DropOut等)# 导入相关包import torchimport torch.nn as nn # 一般设置别名为nnimport torch....原创 2020-04-13 17:16:52 · 175 阅读 · 0 评论 -
Pytorch基础:自动求导
Pytorch 自动求导深度学习的算法本质上是通过反向传播求导数,而Pytorch的autograd模块实现了此功能。在Tensor上的所有操作,autograd均能为它们提供自动微分# 在创建张量的时候,可以通过指定requires_grad=True标识,进行自动求导,Pytorch会记录该张量的每一步操作历史,并自动计算import torchx = torch.rand(3, 3...原创 2020-04-13 17:15:42 · 177 阅读 · 0 评论 -
Pyorch基础:张量
Autograd:Automatic Differentiationautograd是Pytorch中神经网络的核心autograd包对所有在Tensor上的操作提供自动微分。是一个按运行定义的框架。这意味着backprop是由代码的运行方式定义的,并且每个迭代可以是不同的Tensortorch.Tensor是这个包的核心类。.requires_grad=True可以追踪所有在其的操作...原创 2020-04-13 17:14:49 · 236 阅读 · 0 评论 -
Pytorch_dataparallel
%matplotlib inline数据并行Pytorch可以使用多个GPU,如把一个模型放置到GPU上device = torch.device('cuda:0')model.to(device)GPU:然后复制所有的张量到GPU上:mtensor = my_tensor.to(device)只调用my_tensor.to(device)并没有复制张量到GPU上,而是返回一个...原创 2020-04-10 15:01:24 · 95 阅读 · 0 评论 -
Pytorch_训练简单分类器
训练分类器训练一个图像分类器使用torchvision加载和归一化CIFAR10训练集和测试集定义一个卷积神经网络定义损失函数在训练集上训练网络在测试集上测试网络torchvision输出的是[0,1]的PILImage图像,归一化范围是[-1, 1]的张量%matplotlib inline定义损失函数和优化器损失函数使用交叉熵,使用随机梯度下降import torc...原创 2020-04-10 15:00:47 · 113 阅读 · 0 评论 -
Pytorch_Neuarl Networks
Neuarl Networks使用torch.nn.Module来构建神经网络一个nn.Module包含了各个层和一个forward方法,返回ouput前馈神经网络:接受一个输入,然后一层一层地传递,最后输出计算结果训练过程:定义包含科学系参数(权重)神经网络在数据集上迭代通过神经网络处理输入计算损失(输出结果和正确值差值大小)将梯度反方向传播会网络的参数更新网络的参数:...原创 2020-04-10 14:59:01 · 105 阅读 · 0 评论 -
Pytorch_Autograd
Autograd:自动求导机制Pytorch的核心是autograd包。autograd包为张量上的所有操作提供了自动求导,他是一个运行时定义的框架,意味着反向传播是根据代码来确定如何运行,并且每次迭代可以不同张量(Tensor)torch.Tensor这个包是核心类,如果设置.requires_grad为True,那么将会追踪所有对于该张量的操作。完成计算后调用.backward,自动计算...原创 2020-04-10 14:58:00 · 88 阅读 · 0 评论 -
Pytorch_Tensor
Pytorch基于Python的科学计算包作为Numpy的替代品,可以使用GPU的强大计算能力提供强大的灵活性和高速的深度学习研究平台Tensors(张量)Tensors与Numpy的ndarray类似,但是Tensors可以使用GPU计算# 创建一个5x5矩阵,未初始化import torchx = torch.empty(5,5)xtensor([[9.9184e-3...原创 2020-04-10 14:55:30 · 134 阅读 · 0 评论 -
9_cnn_MNIST
CNN_MNISTfrom torchvision import datasets, transformsimport torchfrom torch.autograd import Variableimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimclass Net(nn...原创 2020-03-02 11:24:19 · 285 阅读 · 0 评论 -
10_toy_inspection_MNIST
import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsfrom torch.autograd import Variablefrom torch.utils.data i...原创 2020-03-02 11:19:01 · 100 阅读 · 0 评论 -
8_softmax_MNIST
import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.optim as optimimport torch.nn.functional as Ffrom torchvision import datasets, transformsclass Net(nn.Module):...原创 2020-03-02 11:12:20 · 129 阅读 · 0 评论 -
7_dataset_loader_logistics
import torchimport numpy as npimport torch.nn as nnfrom torch.autograd import Variablefrom torch.utils.data import DataLoader, Datasetclass DiabetesDataset(Dataset): def __init__(self): ...原创 2020-03-02 11:07:54 · 129 阅读 · 0 评论 -
6_dataset_loader
数据加载import torchimport numpy as npfrom torch.autograd import Variablefrom torch.utils.data import DataLoader, Datasetclass DiabetesDataset(Dataset): def __init__(self): super(Diabet...原创 2020-03-02 11:06:18 · 169 阅读 · 0 评论 -
5_diabetes_logistics
import torchimport numpy as npimport torch.nn as nnfrom torch.autograd import Variableclass Model(nn.Module): def __init__(self): super(Model, self).__init__() self.l1 = nn....原创 2020-03-02 11:04:43 · 139 阅读 · 0 评论 -
4_logistics_regression
logisticsimport torchimport torch.nn as nnfrom torch.autograd import Variableclass Model(nn.Module): def __init__(self): super(Model, self).__init__() self.linear = nn.Linear...原创 2020-03-02 11:02:33 · 143 阅读 · 0 评论 -
3_linear_regression
线性回归import torchfrom torch.autograd import Variableimport torch.nn as nnclass Model(nn.Module): ''' 构造损失函数和优化器。 在SGD构造函数中对model.parameters()的调用将包含作为模型成员的两个 nn.Linear模块的可学习参数。 ''' def _...原创 2020-03-02 11:01:05 · 107 阅读 · 0 评论 -
2_auto_gradient
自动梯度前向传播(Forward Propagation) 是从input,经过一层层的layer,不断计算每一层的z和a, 得到输出y^ 的过程,计算出了y^,就可以根据它和真实值y的差别来计算损失(loss)。反向传播(Backward Propagation) 是根据损失函数L(y^,y)来反方向地计算每一层的z、a、w、b的偏导数(梯度),从而更新参数。import torch...原创 2020-03-02 10:58:23 · 177 阅读 · 0 评论 -
1_manual_gradient
手动梯度w = 1.0# 模型class Model(object): def __init__(self): super(Model, self).__init__() # 前向传播函数 def forward(self, x): return x * w # 损失函数 def loss(self, x, y)...原创 2020-03-02 10:54:43 · 118 阅读 · 0 评论 -
Pytorch安装
方法一:pip安装Python3.6+pip安装cpu版本pip install http://download.pytorch.org/whl/cpu/torch-0.4.0-cp36-cp36m-win_amd64.whl Python3.5+pip安装cpu版本pip install http://download.pytorch.org/whl/cpu/torch-0.4.0-c...原创 2019-08-07 14:46:15 · 103 阅读 · 0 评论 -
损失函数
tensorflow和pytorch很多是相似的,此处以pytorch为例1. L1范数损失 L1Loss计算output和target之差的绝对值torch.nn.L1Loss(reduction='mean')参数:reduction的三个值,none:不适用约简;mean:返回loss的平均值;sum:返回loss的和。默认:mean2. 均方误差损失MSELoss计算outp...原创 2019-09-05 15:03:06 · 972 阅读 · 0 评论 -
pytorch报错UserWarning: invalid index of a 0-dim tensor.
UserWarning: invalid index of a 0-dim tensor. UserWarning: invalid index of a 0-dim tensor. This will be an error in PyTorch 0.5. Use tensor.item() to convert a 0-dim tensor to a Python number .for...原创 2019-08-30 11:24:07 · 140 阅读 · 0 评论 -
invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a python number
提示 Use tensor.item() to convert a 0-dim tensor to a Python number原语句:running_loss+=loss.data[0]修改后:running_loss+=loss.item()报错原因:版本升级pytorch代码从0.3版本升级版本后的错误...原创 2019-09-06 17:14:09 · 1234 阅读 · 0 评论