learning conclusion
weixin_41950276
这个作者很懒,什么都没留下…
展开
-
最小二乘法
基于均方误差的最小化来进行模型求解的最好方式叫做最小二乘法原创 2018-10-12 22:23:35 · 67 阅读 · 0 评论 -
交叉熵损失函数
交叉熵损失函数的的思维:也就是在softmax函数输出的概率的分布的向量上,如果不是以接近于1的概率去判别一个label,这就是一种损失。在上面的例子中,我们明显可以注意到模型二基本上都在大概率上判别一个label所以引起的损失会小一点,在这里要注意到log函数的特征,在x很靠近1位置的时候,-log(x)比较接近于0,而当x越接近0的位置的时候,反而-log(x)会变大,也就是...原创 2018-10-15 21:39:29 · 2595 阅读 · 0 评论 -
batch的理解
mport torchimport torch.utils.data as DataBATCH_SZIE = 3x = torch.linspace(1,10,10)y = torch.linspace(10,1,10)# print(x) # tensor 类型,可以直接转为numpytorch_dataset = Data.TensorDataset(x, y)loade...原创 2018-10-10 09:56:17 · 1379 阅读 · 0 评论 -
GPU和显存的关系
gpu和显存类似于,cpu和内存的关系。显存用来存放模型,数据,显存越大,所能够运行的网络就越大。GPU是计算单元,用来进行数值计算。神经网络的显存占用包括:1)模型参数的显存占用:只有有参数的层才会有显存占用,这部分的显存占用和输入无关,模型加载完之后就会占用有参数的层包括:卷积层,全连接层,BatchNorm,Embedding层。无参数的层:激活层sigmoid(sigmoid,re...原创 2018-10-23 08:57:26 · 7737 阅读 · 0 评论 -
对于Tensor的理解
【35】(2,3)表示有一个Tensor是2行3列的,【41】(1,2,3)显示这有一个Tensor是(2,3),加了一这个批次【43】(2,1,3)表示有2个批次的(1,3)Tensor【45】(2,3,1)显示这有两个批次的(3,1)的Tensor。...原创 2018-11-14 14:27:55 · 376 阅读 · 0 评论 -
tensor的形状
[1],就代表一行一列[1,3],代表一行三列原创 2018-11-19 20:44:29 · 762 阅读 · 0 评论