用一种以上的方法认识一个事物,才是真正理解它。–马文 明斯杰
首先复习之前学过的
python中的向量就是排成一排的数字集合,可以理解为一维数组
矩阵就是二维形状的数字集合
tensor张量就是把矩阵和向量扩展到N维的数据集合,标量,向量,矩阵其实都是张量。可以理解为知道了一种推到高维的方式,向下是一维,之后向右扩展成了二维,之后向上扩展变成三维度。
这里插入一个题外话,如果是更高维度的张量该如何想象。
如果考虑一个向量有三个基向量和三个component vector Ax,Ay,Az 这就是一阶张量
而当我们有九个component vectorsAxx,Axy…和9个两两基向量组合而成的集合 这就是二阶张量
如果有27个component vectorsAxxx,Axyx,Axzx…这就是三阶张量
剩下就可以以此类推了。
其实有一些偏了,把几阶张量看成几维数组就可以了,在处理的时候
损失函数
为了知道学习得如何 引入了损失函数
正确标签和神经网络得预测结果之间的误差通过标量计算出来,得到的就是损失。
计算神经网络的损失要使用损失函数,进行多类别分类的神经网络通常使用交叉熵误差作为损失函数。
交叉熵
交叉熵(Cross Entropy)是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度(perplexity)来衡量。交叉熵的意义是用该模型对文本识别的难度,或者从压缩的角度来看,每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数,其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值,以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。 ——百度百科
交叉熵在深度学习中的使用
交叉熵在深度学习中作为目标识别分类常用的概念之一,主要用作loss函数,来对目标和预测之间的差异进行度量。
简单来说ÿ