zbw_村正-CSDN博客

原创 1.线性回归、softmax与分类模型与多重感知机

线性回归优化函数 - 随机梯度下降 (w,b)←(w,b)−η∣B∣∑i∈B∂(w,b)l(i)(w,b)(\mathbf{w},b) \leftarrow (\mathbf{w},b) - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \partial_{(\mathbf{w},b)} l^{(i)}(\mathbf{w},b)(w,b...

2020-03-08 01:30:17 296

原创 10.图像分类案例1、2

图像分类案例1 import numpy as np import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms import torch.nn.functional as F import torch.op...

2020-02-25 17:54:03 395

原创 9.目标检测基础、图像风格迁移

目标检测基础边界框 def bbox_to_rect(bbox, color): # 本函数已保存在d2lzh_pytorch中方便以后使用 # 将边界框(左上x, 左上y, 右下x, 右下y)-->((左上x, 左上y), 宽, 高) return d2l.plt.Rectangle( 锚框生成多个锚框假设输入图像高为hhh，宽为www。我们分别以图像的每个像素为...

2020-02-25 16:50:46 166

原创 8.文本分类、数据增强与数据微调

文本分类文本情感分类数据我们使用斯坦福的IMDb数据集（Stanford’s Large Movie Review Dataset）作为文本情感分类的数据集。读取数据 def read_imdb(folder='train', data_root="/home/kesci/input/IMDB2578/aclImdb_v1/aclImdb"): data = [] for l...

2020-02-23 19:30:36 319

原创 7.优化算法进阶、word2vec与词嵌入进阶

优化算法进阶 Momentum Algorithm 原理 mt←βmt−1+ηtgt,xt←xt−1−mt,\begin{aligned} \boldsymbol{m}_t &\leftarrow \beta \boldsymbol{m}_{t-1} + \eta_t \boldsymbol{g}_t, \\ \boldsymbol{x}_t &\leftarrow \boldsy...

2020-02-21 18:30:24 171

原创 6.批量归一化和残差网络、凸优化与梯度下降

批量归一化(BatchNormalization) 1.对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近 2.批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。多种归一化 1.对全连接层做批量归一化全连接： x=Wu+boutput=ϕ...

2020-02-20 22:52:54 1123

原创 5.卷积神经网络基础、LeNet与卷积神经网络进阶

卷积神经网络基础互相关运算与卷积运算我们将核数组上下翻转、左右翻转，再与输入数组做互相关运算，这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。特征图与感受野二维卷积层输出的二维数组可以看作是输入在空间维度（宽和高）上某一级的表征，也叫特征图（feature map）。影响元素x的前向计算的所有可能输入区域（可能大于输入的实际尺寸）叫做x的感...

2020-02-19 20:50:37 127

原创 4.机器翻译

机器翻译与相关技术机器翻译与数据集 1.数据预处理 def preprocess_raw(text): text = text.replace('\u202f', ' ').replace('\xa0', ' ') out = '' for i, char in enumerate(text.lower()): if char in (',', '!', ...

2020-02-19 20:08:52 331

原创 3.过拟合欠拟合、梯度消失梯度爆炸与循环神经网络进阶

过拟合、欠拟合及其解决方案名词定义 1.训练误差(training error)、泛化误差(generalization error) 2.过拟合(overfitting)、欠拟合(underfitting) 3.验证集(validation set) 4.K折交叉验证(K-fold cross-validation) 多项式函数拟合实验 1.构造输入数据 (x1,x2,x3) features...

2020-02-16 23:55:58 103

原创 2.文本预处理、语言模型与循环神经网络基础

文本预处理读入 with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f] 分词 if token == 'word': return [sentenc...

2020-02-14 02:48:01 129

zbw_村正的博客