Tensorflow
loveysuxin
这个作者很懒,什么都没留下…
展开
-
TensorFlow2.0基础--张量(Tensor)
首先比较一下Python列表(list)、Numpy数组(ndarray)、Tensorflow张量(Tensor)之间的区别: >> Python列表: 元素可以使用不同的数据类型,可以嵌套 在内存中不是连续存放的,是一个动态的指针数组 读写效率低,占用内存空间大 不适合做数值计算 >> Numpy数组: 元素数据类型相同 每个元素...原创 2021-01-08 13:19:30 · 1154 阅读 · 0 评论 -
第六讲-循环神经网络(RNN)及变体LSTM
1、卷积神经网络(CNN)与循环神经网络(RNN)的简单对比:CNN:借助卷积核(kernel)提取特征后,送入后续网络(如全连接网络Dense)进行分类、目标检测等操作。CNN借助卷积核从空间维度提取信息,卷积核参数空间共享。RNN:借助循环核(cell)提取特征后,送入后续网络进行预测等操作。RNN借助循环核从时间维度提取信息,循环核参数时间共享。循环核 循环核具有记忆力,通过不同时刻的参数共享,实...原创 2020-12-23 17:16:10 · 1368 阅读 · 0 评论 -
第五讲--卷积神经网络
全连接NN的特点:每个神经元与前后相邻层的每一个神经元都有连接关系。全连接网络的参数个数为:全连接网络一般被认为是分类预测的最佳网络,但待优化的参数过多,容易导致模型过拟合。为解决参数量过大而导致模型过拟合的问题,一般不会将原始图像直接输入,而是先对图像进行特征提取,再将提取的特征输入全连接网络。卷积神经网络卷积概念:卷积计算可认为是一种有效提取图像特征的方法。一般会用一个正方形的卷积核,按指定步长,在输入特征图上滑动,遍历输入特征图中的每个像素点。每一个步长,卷积核会与输入.原创 2020-12-22 15:21:28 · 398 阅读 · 0 评论 -
第4讲--神经网络八股扩展
在六部法的基础上扩展下面绿色和红色部分内容:①自制数据集,解决本领域应用②数据增强,扩充数据集③断点续传,存取模型④参数提取,把参数存入文本⑤acc/loss可视化,查看训练效果⑥应用程序,给图识物下面主要讲解一下③④⑤⑥:1.3断点续训,存取模型读取模型:load_weights(路径文件名)保存模型:tf.keras.callbacks.ModelCheckpoint( ...原创 2020-12-22 15:07:22 · 189 阅读 · 0 评论 -
第三讲-神经网络八股
一、搭建神经网络六部法tf.keras 搭建神经网络六部法1、import相关模块2、train,test # 训练集、测试集3、model = tf.keras.models.Sequential # 逐层搭建网络结构4、model.compile# 配置训练方法,选择训练使用的优化器、损失函数和最终评价指标5、model.fit # 执行训练过程,告知训练集和测试集的输入值和标签、每个batch的大小(batchsize)和数据集的迭代次数(epoch)6、mod...原创 2020-12-22 14:51:28 · 281 阅读 · 0 评论 -
第二讲-神经网络优化-优化器
7、神经网络优化器1 SGD,常用的梯度下降法2、 SGDM#################m_w, m_b = 0,0 # 初始设为0beta = 0.9替换优化器部分为: # sgdm m_w = beta * m_w + (1-beta) * grads[0] m_b = beta * m_b + (1-beta) * grads[1] w1.assign_sub(lr * m_w) b1.assign_sub(lr *..原创 2020-12-22 14:44:09 · 271 阅读 · 0 评论 -
第二讲-神经网络优化-欠拟合&过拟合
6、过拟合和欠拟合 欠拟合:模型不能很好的拟合分类 过拟合:模型对分类拟合的过于好欠拟合的解决方法: 增加输入特征项 增加网络参数 减少正则化参数过拟合的解决方法: 数据清洗 增大训练集 采用正则化 增大正则化参数6.1 正则化缓解过拟合正则化在损失函数中引入模型复杂度指标,利用给W加权重,弱化了训练数...原创 2020-12-22 14:34:23 · 465 阅读 · 0 评论 -
第二讲-神经网络优化-损失函数
5、损失函数损失函数是前向传播计算出的结果y与已知标准答案y_的差距。神经网络的优化目标,找出参数使得loss值最小。本次介绍损失函数有:均方误差(mse,Mean Squared Error)、自定义、交叉熵(ce,Cross Entropy)均方误差(y_表示标准答案,y表示预测答案计算值) tensorFlow: lose_mse =tf.reduce_mean(tf.square(y-y’))示例:...原创 2020-12-22 14:24:18 · 609 阅读 · 0 评论 -
第二讲-神经网络优化_指数衰减学习率&激活函数
3、指数衰减学习率先用较大的学习率,快速得到较优解,然后逐步减小学习率,使模型在训练后期稳定。 指数衰减学习率= 初始学习率*学习率衰减率^(当前轮数/多少轮衰减一次)示例:主要代码为 ****1-4import tensorflow as tfw = tf.Variable(tf.constant(5, dtype=tf.float32))epoch = 40LR_BASE = 0.2 # 最初学习率 ****1LR_DECAY = 0.99 # 学习率衰减...原创 2020-12-22 14:13:50 · 593 阅读 · 2 评论 -
第二讲--神经网络优化_神经网络复杂度
1、补充几个函数①tf.where() --- 条件语句真返回A,条件语句假返回Btf.where(条件语句,A,B)示例:import tensorflow as tfa = tf.constant([1,2,3,1,1])b = tf.constant([0,1,3,4,5])c = tf.where(tf.greater(a,b),a,b) #若 a > b,返回a对应位置的元素,否则返回b对应位置的元素print("c:",c)...原创 2020-12-22 14:04:39 · 389 阅读 · 0 评论 -
第一讲-tensorflow搭建完整的神经网络步骤(附完整代码)
目标:神经网络实现鸢尾花分类问题搭建神经网络步骤:准备数据--》搭建网络--》参数优化 ---》 测试效果 ---》 Acc/loss可视化准备数据数据集读入 数据集乱序 生成不相交的训练集和测试集 配成(输入特征,标签)对,每次读入一小撮(batch)搭建网络定义神经网络中所有可训练参数参数优化嵌套循环迭代,with结构更新参数,显示当前loss测试效果计算当前参数前向传播后的准确率,显示当前accAcc/loss可视化下面是一个搭建神经网络实现鸢尾花分类的完整代码:...原创 2020-12-22 13:53:03 · 2162 阅读 · 0 评论 -
第一讲_TensorFlow基础
神经网络设计过程①准备数据:采集大量“特征/标签”数据②搭建网络:搭建神经网络结构③优化参数:训练网络获取最佳参数(通过反向传播)④应用网络:将网络保存为模型,输入新数据,输出分类或预测结果(前向传播)2、损失函数(lossfunction):定义预测值y与标准答案y_的差距。损失函数可以定量判断W,b的优劣,当损失函数输出最小时,参数W,b会出现最优值。 梯度下降:目的是找到一组参数W 和b,使得损失函数最小。 损失函数的梯度:表示损...原创 2020-12-22 13:42:45 · 343 阅读 · 0 评论