深度学习和神经网络
文章平均质量分 74
Nlper_Zhao
这个作者很懒,什么都没留下…
展开
-
深度学习中的损失函数
损失函数以一个真实值(y)和一个预测值(ŷ)作为输入,并产生一个实值分数。这个分数越高,模型的预测就越差。Mean Squared Error Loss对于网络输出(ŷ)和目标(y)为连续值的回归问题,一个常见的损失函数是均方误差(MSE):MSE是预测值和目标值之间差的平方的平均值。还有一些其他的损失函数可以用于回归问题,比如平均绝对误差(MAE)和均方根误差(RMSE),但它们都涉及到计算输出和目标之间的实值距离。Categorical Cross-Entropy Loss类别交叉熵损失通原创 2021-05-19 15:11:55 · 1238 阅读 · 1 评论 -
深度学习中的激活函数
激活函数是在神经网络中引入的非线性函数,用于捕获数据中的复杂关系。Sigmoidsigmoid函数是神经网络历史上最早使用的激活函数之一。它取任何实数并将其压缩到0到1之间。数学上,sigmoid函数表示如下:从表达式中很容易看出,sigmoid函数曲线是一个光滑的、可微的函数。正如我们可以从图中观察到的,对于大多数输入,sigmoid函数很快达到饱和(即产生极值输出)。这可能会成为一个问题,因为它可能导致梯度变成零或发散到一个溢出的浮点值。这些现象也被称为梯度消失问题和爆发梯度问题。因此,在神原创 2021-05-19 14:06:35 · 1225 阅读 · 9 评论 -
Word2Vec的Pytorch实现(二)
所需导入的包import collectionsimport mathimport randomimport sysimport timeimport osimport torch.utils.data as Dataimport torchimport torch.nn as nn1、读取并处理数据集assert 'ptb.train.txt' in os.listdir("../data/ptb")with open('../data/ptb/ptb.train.tx.原创 2020-10-22 11:28:36 · 406 阅读 · 0 评论 -
Word2Vec的PyTorch实现(一)
import torchimport numpy as npimport torch.nn as nnimport torch.utils.data as Dataimport matplotlib.pyplot as pltimport torch.optim as optimizerdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")dtype = torch.FloatTensorsentence原创 2020-10-18 13:51:13 · 752 阅读 · 0 评论 -
NNLM的Pytorch实现
import torchimport torch.nn as nnimport torch.optim as optimizerimport torch.utils.data as Datadtype = torch.FloatTensorsentences = ['i like cat','i love coffee','i hate milk']sentences_list = " ".join(sentences).split() # ['i', 'like', 'cat', 'i',原创 2020-10-15 00:08:37 · 487 阅读 · 0 评论 -
iloc[:, 1:-1]索引切片操作
import pandas as pddf = pd.DataFrame({'A':[1,2,3], 'B':[4,5,6], 'C':[7,8,9], 'D':[1,3,5], 'E':[5,3,6], 'F':[7,4,3]})print(df)print(df.iloc[:, :-1])D:\dev\an原创 2020-10-13 14:01:23 · 21028 阅读 · 1 评论 -
softmax回归的从零开始实现
import torchimport torchvisionimport numpy as npimport sysimport d2lzh_pytorch as d2l# 1、获取和读取数据batch_size = 256def load_data_fashion_mnist(batch_size, resize=None, root='~/Datasets/FashionMNIST'): """Download the fashion mnist dataset and then原创 2020-10-11 23:50:24 · 476 阅读 · 0 评论 -
线性回归的简洁实现
import torchimport numpy as npimport torch.utils.data as Dataimport torch.nn as nnfrom torch.nn import initimport torch.optim as optim# 1、生成数据集num_inputs = 2num_examples = 1000true_w = [2,-3.4]true_b = 4.2features = torch.tensor(np.random.norma原创 2020-10-10 16:23:59 · 188 阅读 · 0 评论 -
线性回归的从零开始实现
import torchfrom IPython import displayfrom matplotlib import pyplot as pltimport numpy as npimport random# 1、生成数据集# 训练数据集样本数为1000,输入个数(特征数)为2# 线性回归模型真实权重 w=[2,−3.4] 和偏差 b=4.2num_inputs = 2num_examples = 1000true_w = [2,-3.4]true_b = 4.2# 生成的数原创 2020-10-09 23:36:39 · 519 阅读 · 0 评论