机器学习
qq_34122708
这个作者很懒,什么都没留下…
展开
-
反向传播的理解
转载自:https://www.sohu.com/a/168767295_826434一、前言这是一场以误差(Error)为主导的反向传播(Back Propagation)运动,旨在得到最优的全局参数矩阵,进而将多层神经网络应用到分类或者回归任务中去。前向传递输入信号直至输出产生误差,反向传播误差信息更新权重矩阵。这两句话很好的形容了信息的流动方向,权重得以在信息双向流动中得到优化,...转载 2019-01-28 22:57:28 · 1826 阅读 · 1 评论 -
tensorflow笔记(一):tensorflow基本框架
tensorflow将搭建网络与计算网络中的数值进行了割裂,也就是说在搭建网络阶段并不计算数值。一、计算图如以下代码:# coding:utf-8# 0导入模块 ,生成模拟数据集import tensorflow as tf# 定义神经网络的输入、参数和输出,定义前向传播过程def get_weight(shape, regularizer): w = tf.V...原创 2019-03-10 13:43:05 · 183 阅读 · 0 评论 -
tensorflow笔记(二):滑动平均模型的理解
滑动平均记录了每个参数一段时间内过程值的平均,可以增加模型的泛化性。影子变量shadow在t时刻记为,为变量shadow在t时刻的取值,在不使用滑动平均法时上式中,。并且=min{MOVING_AVERAGE_DECAY,(1+轮数)/(10+轮数)},MOVING_AVERAGE_DECAY是基础值。不使用滑动平均 使用滑动平均 global step 0.0 ...原创 2019-03-10 15:06:58 · 245 阅读 · 0 评论 -
tensorflow笔记(三):刚开始不太理解的几个函数
推荐一个快速查询tensorflow API的网站:https://docs.w3cub.com/tensorflow~python/一、指数衰减学习率learning_rate = LEARNING_RATE_BASE*LEARNING_RATE_DECAY^(global_step/LEARNING_RATE_BATCH_SIZE)LEARNING_RATE_BASE为初始学习率...原创 2019-03-10 17:59:35 · 169 阅读 · 0 评论