![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Tensorflow
文章平均质量分 67
机器学习
Water_Sunzhipeng
笔记本
展开
-
神经网络构成、优化、常用函数+激活函数
解决梯度消失问题正区间,容易造成神经元死亡,改变随机初始化,避免过多设置更小学习率,减少参数的巨大变化,避免训练中产生过多负数特征进入函数。4初始参数中心化,既让随机生成的参数满足以0为均值,sqrt(2/当前层输入特征个数)为标准差的正态分布。可以先用较大的学习率,快速得到较优解,然后逐步减小学习率,使模型在训练后期稳定。特点:容易造成梯度消失,输出非0均值,收敛慢,幂运算复杂,训练时间长。特点:输出是0均值,容易造成梯度消失,幂运算复杂,训练时间长。1.Signmoid函数。原创 2024-07-09 02:34:22 · 452 阅读 · 0 评论 -
tensorflow卷积层操作
每个神经元与前后相邻层的每一个神经元都有全连接关系。输入是特征,输出为预测结果。参数个数(前层*后层+后层)实际应用时,会先对原始图像进行特征提取,再把提取到的特征送给全连接网络会先进行若干层提取,把提取的特征放入全连接网络。卷积计算可以认为是一个有效提取图像特征的方法。一般会用一个正方形的卷积核,按指定步长,在输入特征图上滑动,遍历输入特征图中的每个像素点。当前卷积核的个数,决定了输出特征图的深度卷积利用立体卷积核实现参数空间共享。对应元素相乘+偏置项b。原创 2024-07-11 22:42:21 · 526 阅读 · 0 评论 -
拓展神经网络八股(入门级)
保存模型参数可以使用tensorflow提供的ModelCheckpoint(filepath=checkpoint_save,因为是标准MINST数据集,因此在准确度上看不出来,需要在具体应用中才能体现。model.trainable_variables 返回模型中可训练参数。2.加载参数 load_weights(model_save_path)minst等数据集是别人打包好的,如果是本领域的数据集。把图片路径和标签文件输入到函数里,并返回输入特征和标签。我们需要对颜色取反,我们的训练图片是黑底白字。原创 2024-07-10 00:06:34 · 645 阅读 · 1 评论 -
使用八股搭建神经网络
swquential可以搭建上层输出就是下层输入的网络结构,但是无法搭建带有跳连特征的非顺序网络结构定义网络结构块def call(self, x): #写出前向传播调用网络结构块,实现前向传播return y__init__定义出积木call调用积木,实现前向传播return y每循环一次train,计算一次test的测试指标。原创 2024-07-09 21:39:00 · 1224 阅读 · 1 评论 -
神经网络参数优化器
mt = β*m(t-1) + (1-β)*gt,Vt = 1 mt表示各时刻梯度方向的指数滑动平均 β接近一的超参数经验值为0.9, 由当前时刻梯度,和上一时刻的一阶动量。4.计算t+1时刻参数:w(t + 1) = wt - ηt = wt - lr*mt/sqrt(Vt)待优化参数w,损失函数loss,学习率lr,每次迭代一个batch,t表示当前batch迭代的总次数。把修正的一阶动量和二阶动量带入参数更新公式,实现参数自更新。不同的优化器,实际上就是定义了不同的一阶动量和二阶动量。原创 2024-07-09 18:46:47 · 427 阅读 · 0 评论 -
tensorflow之欠拟合与过拟合,正则化缓解
正则化在损失函数中引入模型复杂度指标,利用给w增加权重,弱化数据集的噪声,loss = loss(y与y_) + REGULARIZER*loss(w)利用超参数REGULARIZER给出参数w在总loss中的比例,即正则化权重, w是需要正则化的参数。L1正则化大概率会使很多参数变为0,因此该方法可通过系数参数,减少参数的数量,降低复杂度。L2正则化会使参数很接近0但不为0,因此该方法可通过减少参数值的大小降低复杂度。存在过拟合现象,轮廓不够平滑, 使用l2正则化缓解过拟合。原创 2024-07-09 13:57:33 · 412 阅读 · 0 评论 -
Tensorflow之损失函数与交叉熵
例如 二分类,已知答案y_(1, 0) 预测 y1(0.6, 0.4), y2=(0.8, 0.2), 那个答案接近标准答案。均方误差tensorflow实现,loss_mse = tf.reduce_mean(tf.sqrue(y_-y)代码实现, tf.losses.categorical_crossentropy(y_,y)预测多了,损失成本,预测少了,损失利润,利润不等于成本。预测酸奶日销量,y,x1, x2是影响日销量的因素。自定义损失函数 loss(y_, y) =原创 2024-07-09 12:58:10 · 410 阅读 · 0 评论 -
tensorflow张量生成以及常用函数
tf.random.uniform(维度,minval=最小值, maxval = 最大值)[min, max)data = tf.data.Dataset.from_tensor_slices((输入特征,标签))2.tf,zeros(维度) 全为0 tf.ones(维度)全为1 tf.fill(维度,指定值—)tf.random.truncated_normal(维度,mean=均值, stddev=标准差)tf.random.normal(维度,mean=均值, stddev= 标准差)原创 2024-07-08 21:47:14 · 653 阅读 · 0 评论 -
神经网络设计过程
转化为Iris Y(1, 3) = X (1, 4) * W(4, 3) + b(3,) 三个偏置项。梯度下降法:沿损失函数梯度下降的方向,寻找损失函数的最小值,得到最优的参数的方法。2.神经网络方法,采集大量的Iris特征,分类对应标签,构成数据集。学习率:当学习率设置的过小时,收敛过程变得缓慢,过大,会在错过最小值。损失函数可以判断当前W和b的优劣,当损失函数值最小时,W和b最优。损失函数的表达方法之一就是:均方误差:MSE(y, y_) =运用损失函数定义预测值(y)与标准答案(y_)之间的差距。原创 2024-07-08 02:56:09 · 405 阅读 · 0 评论