![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
飞天红猪侠001
这个作者很懒,什么都没留下…
展开
-
正则化
一、欠拟合与过拟合1、欠拟合的解决方法:增加输入特征项增加网络参数减少正则化参数2、过拟合的解决方法;数据清洗增大训练集采用正则化增大正则化参数二、正则化正则化缓解过拟合正则化在损失函数中引入模型复杂度指标,利用给w加权值,弱化了训练数据的噪声(一般不正则化b)损失函数的形式:loss = loss(y 与 y_) + REGULARIZER * loss(w)loss(y 与 y_) 是模型中所有参数的损失函数,如:交叉熵,均方误差...原创 2020-07-29 00:20:03 · 292 阅读 · 0 评论 -
学习笔记,神经网络和反向传播
简单的二分类情形:1、前向传播有m个样本,每个样本有n个特征,, 每个特征的权重是, 权重向量为,偏置为b,激活函数为sigmoid函数,则激活后的值为, 大写表示向量,小写表示标量2、反向传播y为真实值,损失函数为代价函数为, 代价函数为a, y的函数,实际上可以看作是w,b的函数梯度下降法,对w,b进行求偏导反向传播的简单理解:通过上面的分解,J对w的偏导,分解为J对a的偏导,a对z的偏导,z对w的偏导,一个反向链条,从J传播到w...原创 2020-07-28 16:43:56 · 123 阅读 · 0 评论 -
学习笔记,梯度下降(非向量实现)
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常用的方法之一。一、梯度在微积分里,对多元函数参数求偏导,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。如果是一元函数,梯度就是偏导。例如,f(x1,x2),分别求偏导,梯度向量就是(∂f/∂x1, ∂f/∂x2)梯度向量的意义:从几何意义上来讲,就是函数变化增加(上升)最快的方向。二、梯度下降在机器学习算法中,在最小化损失函数时,可以通过梯度下降来一步步的迭代求解,...原创 2020-05-29 01:18:10 · 204 阅读 · 0 评论 -
tf.nn.conv2d()函数详解(strides与padding的关系)
tf.nn.conv2d()是TensorFlow中用于创建卷积层的函数,这个函数的调用格式如下:def conv2d(input: Any, filter: Any, strides: Any, padding: Any, use_cudnn_on_gpu: bool = True, ...原创 2019-12-20 01:30:46 · 3331 阅读 · 1 评论 -
tf.tile
tf.tile(input, multiples, name=None)作用是吧input按照multiples的要求复制,构建新的tensor注意:multiples中的元素个数必须跟input的维度相同,不然会报错import tensorflow as tf a = tf.constant([1,2,3])b = tf.constant([[4,5,6],[7,8,9]...原创 2019-10-23 20:05:55 · 198 阅读 · 0 评论 -
tf.range用法
range(limit, delta=1, dtype=None, name='range')range(start, limit, delta=1, dtype=None, name='range')从start开始,到limit结束(不包括limit),间隔delta,生成一维序列import tensorflow as tfwith tf.Session() as sess...转载 2019-10-23 19:47:41 · 2217 阅读 · 0 评论 -
tf.shape用法
tf.reshape(tensor,shape, name=None)作用就是把tensor变换为shape的形式reshape里面的参数的乘积必须是等于上面数组所有参数的总和。shape里可以存在-1, -1的意思是这一维的数目会被自动计算。-1只能有一个。我们可以这样理解变换过程,首先把tensor变换成一维的,然后再根据shape变换。...原创 2019-10-23 19:41:13 · 659 阅读 · 0 评论 -
范数
在机器学习中经常需要对向量,矩阵有一个对于它们大小的度量。范数的定义:∣∣x∣∣p=(∑i∣xi∣p)1p||x||_p = (\sum_i |x_i|^p)^{\frac{1}{p}}∣∣x∣∣p=(i∑∣xi∣p)p1其中,p ∈ R, p ≥ 1范数实质就是将向量映射到非负值的函数, 当p=2时,L2L^2L2范数称为欧几里得范数。因为在机器学习中用的太多, ∣∣x∣∣2...转载 2019-10-23 15:45:43 · 356 阅读 · 0 评论 -
tf.gather_nd用法详解
gather_nd的定义如下:def gather_nd(params, indices, name=None)功能:根据indeces描述的索引,在params中提取元素,重新组成一个tansor``原创 2019-10-21 00:08:47 · 2158 阅读 · 0 评论 -
卷积神经网络(CNN)中卷积层计算细节
卷积计算过程单通道图像输入层大小为5x5, 卷积核为3x3,输出的计算过程如下:Stride和Padding如果将输入层想像成黑板,局部感受野就像是黑板擦,他会从左往右,从上至下的滑动,每次滑动1 个步长(Stride)并且每次滑动都重复上述的计算过程,我们就可以得到输出的特征图(feature map),有时候,按照规定步数滑动到黑板边缘时,黑板擦一部分会露出在黑板外,这个...转载 2019-09-17 09:54:27 · 2885 阅读 · 1 评论 -
Tensorflow中的tf.argmax()函数
转载出处:http://www.cnblogs.com/willnote/p/6758953.html官方API定义tf.argmax(input, axis=None, name=None, dimension=None)Returns the index with the largest value across axes of a tensor.Args:input: A ...转载 2019-05-28 16:21:05 · 258 阅读 · 0 评论