qust1508060414的博客

一、基本概念张量：多维数组，用 “阶” 表示张量的维度。 0阶张量称作标量，表示一个单独的数； 1阶张量称作向量，表示一个一维数组 2阶张量称作矩阵，表示一个二维数组 3阶及以上称作张量，判断张量是几阶的，就通过张量右边的方括号的个数，几个就是几阶。如：t=[[[...]]]为3阶张量。 基于TensorFlow的NN：用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上...

神经元模型：用数学公式表示为, f 为激活函数。神经网络是以神经元为基本单位构成的。 激活函数：引入非线性激活函数，提高模型的表达力。 常用的激活函数有relu、sigmoid、tanh等。 ① relu：在TensorFlow中，用tf.nn.relu()表示      ② sigmoid：在TensorFlow中，用tf.nn.sigmoid()表示      ③ tanh：在T...

学习率：表示了每次更新参数的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。        在训练过程中，参数的更新相纸损失函数梯度下降的方向。参数的更新公式为：        假设损失函数为 loss = (w + 1)2。梯度是损失函数 loss 的导数为 ∇=2w+2。如参数初值为 5，学习率为 0.2，则参数和损失函数更新如下：...

安装python2.7 sudo add-apt-repository ppa:fkrull/deadsnakes-python2.7 sudo apt-get update sudo apt-get install python2.7 安装pip sudo apt-get install python-pip python-dev 安装TensorFlow sudo pip...

变量 不用声明类型，定义时直接初始化，如 a=0，又如 b="abcdefg"，然后即可使用 运算符 算数运算符：+，-，*，/，%，没有++，+=等运算符 逻辑运算符：and（&&），or（||），其他的与C语言一样 逻辑常量：True（true），False（false） 占位符：%s，不区分类型，如：print "age: %s years" %age 列表、 ...

滑动平均：记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均可以增强模型的泛化能力。 滑动平均值（影子）计算公式： 影子 = 衰减率 * 影子 + （1 - 衰减率）*参数，其中，衰减率 = ，影子初值 = 参数初值 用TensorFlow函数表示为： √ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECA...

过拟合：神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低， 说明模型的泛化能力差。 正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声， 减小过拟合。 使用正则化后，损失函数loss变为两项之和：loss = loss(y 与 y_) + REGULARIZER*loss(w) 其中，第一项是预测结果与标准答案之间的差距，如之前讲过...