人工智能
Elijah_0
这个作者很懒,什么都没留下…
展开
-
GAN初探:模拟高斯分布
GAN模拟高斯分布实验目的在《Generative Adversarial Nets》这篇论文中,用到了GAN模型去模拟原始数据的分布,即使得pg=pdatap_g = p_{data}pg=pdata,现在使用一维高斯分布输入模型,将pg=pdatap_g = p_{data}pg=pdata的逼近过程,用可视化的图形表示,看看这个过程是如何实现的。实验过程数据集在整个实验的过程中,所有的数据都是用numpy生成的均值为3,标准差为1的高斯分布。数据长度为1*500,数据集大小为1000原创 2020-12-04 16:49:01 · 1714 阅读 · 6 评论 -
AlexNet学习随手记
TitleImageNet Classification with Deep Convolutional Neural NetworksSummary文章是2012年非常出名的文章,采用了卷积,ReLU,MaxPooling等常用的方法,利用1200000张图片进行训练,评价指标为图像领域常用的top-1与top-5两种方法,训练耗时6天(12年显卡),测试结果采用top-5得到错误率为16.4%,比第二名高了十个百分点。Research Objective在ILSVRC比赛上,使用有1000个类的原创 2020-08-31 22:36:33 · 116 阅读 · 0 评论 -
深度学习中的正则化处理Normalization
NormalizationBatch Normaliation批标准化处理,批:指一批数据,通常为mini-batch;标准化:0均值,1方差。可以用更大学习率,加速模型收敛可以不用精心设计权值初始化可以不用dropout或者较小的dropout可以不用L2或者较小的Weight decay可以不用LRN(local response normalization)计算式其中,normalize步骤中ϵ\epsilonϵ为修正项,为了防止分母为零的情况出现。处理后x^\hat{x}x^原创 2020-08-27 21:25:33 · 476 阅读 · 0 评论 -
Pytorch常用API汇总(持续更新)
Pytorch常用API汇总文章目录Pytorch常用API汇总损失函数nn.CrossEntropyLoss()nn.NLLLossnn.BCELossnn.BCEWithLogitsLoss损失函数nn.CrossEntropyLoss()将nn.LogSoftmax()与nn.NLLLoss()结合,进行交叉熵计算weight:各类别的loss设置权值,类别即标签,是向量形式,要对每个样本都设置权重,默认均为1。ignore_index:忽略某个类别。reduction:计算模式,可分原创 2020-08-24 15:48:00 · 4014 阅读 · 0 评论 -
神经网络基础知识之感知机
神经网络基础知识文章目录神经网络基础知识感知机激活函数学习率损失函数权值初始化正则化方法感知机感知机是第一个人工神经元,其公式:O=σ(<w,x>+b)O = \sigma(<w,x>+b)O=σ(<w,x>+b) 其中OOO表示输出,σ\sigmaσ 表示激活函数,<w,x><w,x><w,x> 表示矩阵相乘,bbb为偏置。该感知机输出为1或0,是一个传统的二分类模型。但是感知机有致命缺陷,即感知机无法解决异或问题。简单证明原创 2020-08-22 22:16:09 · 635 阅读 · 0 评论