贾如钊-CSDN博客

原创动手学深度学习（5.3）——卷积神经网络进阶

深度卷积神经网络（AlexNet）LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征，从...

2020-02-19 20:38:56 212

原创动手学深度学习（5.2）——LeNet

Convolutional Neural Networks使用全连接层的局限性：图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易导致模型过大。使用卷积层的优势：卷积层保留输入形状。卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算，从而避免参数尺寸过大。LeNet 模型LeNet分为卷积层块和全连接...

2020-02-19 20:38:08 153

二维卷积层本节介绍的是最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置...

2020-02-19 20:37:20 248

原创动手学深度学习（4.2）——注意力机制和Seq2seq模型

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问题，尤其是RNN机制实际中存在长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化为...

2020-02-19 20:33:39 259

原创动手学深度学习（4.1）——机器翻译及相关技术

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。import osos.listdir('/home/kesci/input/')['fraeng6506', 'd2l9528', 'd2l6239']import sys...

2020-02-19 20:28:33 247

原创动手学深度学习（3.3）——循环神经网络进阶

GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:Ht=ϕ(XtWxh+Ht−1Whh+bh)H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h})Ht=ϕ(XtWxh+Ht−1Whh+bh)GRU:Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(X...

2020-02-19 20:25:03 212 1

原创动手学深度学习（3.2）——梯度消失、梯度爆炸

梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l)，输出层H(L)\boldsymbol{H}^{(L)}H(L)的权...

2020-02-19 20:22:41 404

原创动手学深度学习（3.1）——过拟合欠拟合及其解决方案

模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和so...

2020-02-19 20:20:53 185

原创 ABAQUS中用Python调取（多个）参考点

ABAQUS中建立复杂模型，尤其是复杂接触或者复杂约束时，往往采用参数化更为高效，这些问题中常常会建立为数不少的参考点，对这些参考点的读取和调用是不可避免地，但ABAQUS模型中的Python对象众多，且各适用于不同的函数，导致常常出现如下错误：TypeError: region; found Feature, expecting Region本文讨论的问题也是基于此类报错。下面先...

2020-02-14 20:01:47 3982 3

转载动手学深度学习（二）——文本预处理&语言模型&循环神经网络

一、文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列。文本预处理一般包括四个步骤：（1）读入文本import collectionsimport re# 逐行读取文本def read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as...

2020-02-14 18:38:41 280

原创动手学深度学习（一）——线性回归&softmax回归&多层感知机

武汉加油！中国加油！一、线性回归线性回归的目的是根据训练集中的输入和输出，构造它们之间的线性数学表达，从而对同类数据进行有效预测。以2个输入参数（x1、x2）的模型为例，线性回归的运行过程如下：1. 预测模型表达式写成矢量形式：2.损失函数在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。...

2020-02-14 18:14:33 891 1

weixin_42218089的博客