深度学习
文章平均质量分 80
Tim_Van
学习C/C++/Java/Python/前端。。
展开
-
判断两个tensor的值是否相等(TensorFlow 2)
需要一个直接判断两tensor的值是否完全相等的功能。目前(TensorFlow Core v2.8.0),Tensorflow 2里有a==b或tf.math.equal()这样element-wise的函数来判断相等,但并使用不方便。 因此写一个简单实现的函数 tensor_equal(a, b),若相等则返回True。import tensorflow as tf# 判断两个tensor的值是否相等def tensor_equal(a, b): ...原创 2022-03-30 23:07:17 · 3654 阅读 · 1 评论 -
【吴恩达深度学习测验】Course 2 - 改善深层神经网络 - 第三周测验
Course 2 - 改善深层神经网络 - 第三周测验超参数调整,Batch归一化,编程框架总分10分1.若对超参数进行大规模搜索,应使用网格而非随机求值,以使得搜索结构更具系统性,而非依赖偶然性。正确还是错误?错误 正确2.每一个超参数,如果设置不当,都会对训练产生巨大的负面影响,所以所有的超参数对于调优都同样的重要。正确还是错误?错误 正确3.超参数搜索中,是只针对单一模型(“熊猫法”)还是多模型同时训练(“鱼子酱法”)主要取决于:A.神经网络中是否存在局部最小(以及鞍点.原创 2022-01-09 21:17:17 · 826 阅读 · 0 评论 -
【吴恩达深度学习测验】Course 2 - 改善深层神经网络 - 第二周测验
Course 2 - 改善深层神经网络 - 第二周测验1. 若输入第8个mini-batch的第7个样本,请问用什么符号来指代第3层激活函数?2. 下列关于mini-batch的梯度下降的说法中,你同意哪一个?A.使用mini-batch梯度下降训练一个epoch(通过训练集)快于使用batch梯度下降训练一个epoch。B.对mini-batch梯度下降进行一次迭代(计算单次mini-batch)快于对batch梯度下降进行一次迭代。C.实施mini-batch梯度下降时,无需对不同的m原创 2021-12-29 17:30:09 · 814 阅读 · 0 评论 -
Win10下安装 Tensorflow2(CPU),并在Pycharm中运行
教程日期:2021年12月安装环境:Windows 10(64位),,Intel处理器步骤:1、安装Anaconda2、配置Anaconda环境3、安装Tensorflow4、测试环境一、安装AnacondaAnaconda | Individual Editionhttps://www.anaconda.com/products/individual 打开上述地址,点击Download按钮下载,安装过程一直next即可。Anaconda3是一个...原创 2021-12-14 17:11:26 · 3118 阅读 · 1 评论 -
归一化输入时需要按照特征值分别计算(附归一化代码)
结论 需要按照特征值分别求取均值和方差,然后再做零均值和归一化方差处理。原因在学习《吴恩达·深度学习》第二门课 1.9归一化输入时,遇到一个问题。视频里说均值和都是一个向量。但我不是很理解到底是不是按照特征值分别求取,再分别放缩。 群里老兄点拨,假设对整个矩阵求均值和方差,再减去和除以,可能会导致原来比较小的值近似为0。不符号归一化输入处理的目的。因此需要按特征值分别求取。1.9 归一化输入(Normalizing inputs)h...原创 2021-11-16 22:11:33 · 843 阅读 · 0 评论 -
ValueError: Object arrays cannot be loaded when allow_pickle=False【Numpy读取字典文件报错】
结论np.save()和np.load()函数都应该加上参数 allow_pickle=True,如:np.save('outfile.npy', parameters, allow_pickle=True)b = np.load('outfile.npy')原因分析 在Numpy 1.16.2 之后保存字典时,需要加上allow_pickle=True,但是不同目前网络上普遍说的,仅仅在np.save()中加入此参数,但同时也应该在np.load()中...原创 2021-11-09 15:46:04 · 4697 阅读 · 3 评论 -
神经网络中隐藏层为什么需要使用激活函数?
如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合,即W = W3*[W2*(W1*x)]。如果隐藏层不使用激活函数,仅在输出层使用sigmoid函数,那么效果仅仅和标准Logistic回归一样。参考:深度学习:神经网络中为什么需要使用激活函数?(超详细)_JJJasmine的H君的博客-CSDN博客_神经网络为什么需要激活函数一、百度百科 我们先看下百度百科的解释: 如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都原创 2021-10-20 21:15:44 · 3484 阅读 · 2 评论 -
权重W初始化乘0.01和sqrt()的区别
在深层神经网络中,对权重W的初始化往往用标准正态缩小来进行但有时使用 randn*0.01而有时却使用 randn*sqrt(d)来缩写经查资料可知,对于不同的激活函数如sigmoid、tanh或ReLU等,所使用的缩写倍数并不相同结论:对于sigmoid函数用0.01: w= 0.01* np.random.randn(D,H) 对于tanh函数用sqrt(d):w = np.random.randn(D,H) / sqrt(D,H) 对于ReLU函数用sqrt(d/2):w...原创 2021-10-05 20:47:06 · 878 阅读 · 0 评论