![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 56
预知梦_
机器学习/大学狗
展开
-
Windows10安装OpenCV(Python3)
首先看自己Python的版本号,我用anaconda安装的是Python3.6然后在这里用Ctrl+F搜索找到OpenCV,回车点击opencv然后根据自己的Python版本号下载,比如我的是Python3.6,就找cp36,不是前面的3.4.1(这个应该是opencv版本号),然后下载下来,然后我是将下载下来的.whl文件移动到Anaconda的site-packages文件夹中,具体目录:然后...原创 2018-05-08 21:47:16 · 471 阅读 · 0 评论 -
TensorFlow指定GPU设备、分配显存
一、使用GPU加速运算 1.TensorFlow程序中可以通过tf.device函数来指定运行的设备。 CPU名称为"/cpu:0",即使有多个CPU,所有的CPU都使用/cpu:0作为名称。 GPU则不同,是"/gpu:n",n可替换。n=0,即是第一个GPU,以此类推。 2.观察每个运算所用的设备: 使用log_...原创 2018-05-09 13:26:49 · 12474 阅读 · 1 评论 -
TensorFlow卷积层函数(卷积层+池化层)
TensorFlow中卷积神经网络常用的有卷积层和池化层,下面对常用函数的常用参数进行总结:主要是三个函数:import tensorflow as tftf.nn.conv2d()tf.nn.max_pool()tf.nn.avg_pool()1.tf.nn.conv2d 一般常用的卷积层参数:一般常用四个参数input:输入filter:字面意思是过滤器,其实就是卷积层过滤器,在这里输入...原创 2018-05-10 22:34:12 · 2234 阅读 · 0 评论 -
深度学习中的正则化
在实际深度学习场景中我们几乎总是发现,最好的拟合模型是一个适当正则化的大型模型。 1. L2参数正则化 L2参数范数惩罚通常又被称为权重衰减,这个正则化策略通过向目标函数添加一个正则项,L2正则化也被称为岭回归或Tikhonov正则。 加入L2正则化后的损失函数:, 加入L2正则化后的梯度:, 加入L2正则化后的权重更新:, 其中是权衡正则化项和标准损失...原创 2018-05-17 21:36:42 · 554 阅读 · 0 评论 -
利用TensorFlow构建神经网络的一般步骤及常用方法和函数
一、利用TensorFlow构建神经网络主要分为三个步骤: 1.使用TensorFlow定义神经网络结构及其参数和定义根据定义的神经网络结构定义前向传播输出的结果。 2.利用TensorFlow定义损失函数并选择合适的反向传播优化算法,并在其中加入可能用到的滑移平均,学习率衰减等。 3.利用前两步建立起来的图构建会话,安排batch数据送往前向传播进行计算以及反向传播过程进行...原创 2018-05-12 17:26:42 · 5985 阅读 · 1 评论 -
TensorFlow模型持久化(保存、加载)
1.保存TensorFlow模型:import tensorflow as tfsaver = tf.train.Saver()with tf.Session() as sess: ... saver.save(sess, path)path是保存模型的路径及文件名,一般是以.ckpt为后缀,保存完会出现三个文件,一个是model.ckpt.meta,保存的是TensorFl...原创 2018-05-19 11:38:40 · 565 阅读 · 0 评论 -
Jacobian和Hessian矩阵
一、Jacobian矩阵 包含偏导数矩阵被称为Jacobian矩阵。f的Jacobian矩阵定义为:。二、Hessian矩阵 Hessian是二阶导数矩阵,定义为:,Hessian矩阵是对称的。 将进行二阶泰勒级数展开: 二阶导数小于0,代表一阶导数即斜率是递减的,斜率会随着x变化减小,大于0同理。 根据二阶导数判断极大点、极小点、鞍点: 当,且时,x是...原创 2018-05-24 21:11:31 · 1288 阅读 · 0 评论 -
二阶优化算法:牛顿法
牛顿法的基本思想:利用迭代点处的一阶导数(梯度)和二阶导数(Hessian矩阵)对目标函数进行二次函数近似,然后把二次模型的极小点作为新的迭代点,并不断重复这一过程,直至求得满足精度的近似最小值。 牛顿法的更新公式,基于二阶泰勒展开: 然后对上式求导,并令,得到更新公式: 对于神经网络病态条件问题,出现在梯度变化过快的情况时即二阶导数较大,此时通过二阶优化算法如牛...原创 2018-06-02 12:14:50 · 6922 阅读 · 0 评论 -
SGD中batch_size大小的影响
随机梯度下降SGD中有一个重要的超参数batch_size(批量大小),其大小对整个模型训练的影响总结如下: 1.更大的批量会计算更计算更精确的梯度估计,但是回报是小于线性地。 因为每次参数更新所用到的数据越多,越能代表整体损失函数的梯度,因此梯度精确度更高。 2.极小批量通常难以充分利用多核架构,低于某个值的小批量处理并不会减少计算时间。 3.批量处理中所...原创 2018-06-02 15:25:05 · 4699 阅读 · 0 评论