一、专业名词
1.Machine Learning #机器学习(ML)
2.Deep Learning # 深度学习(DL)
3.Convolutional Neural Networks # 卷积神经网络(CNN)
4.Recurrent Neural Network # 循环神经网络(RNN)
5.Long Short-Term Memory # 长短期记忆网络(LSTM)
6.Rectified Linear Unit # 修正线性单元(ReLU)
7.Supervised Learning # 监督学习
8.Binary Classification # 二分分类
9.Logistic Regression # 逻辑回归
10.Logistic Regression loss function # 逻辑回归损失函数
11.Logistic Regression cost function # 逻辑回归成本函数
12.Gradient Descent # 梯度下降法
二、数据结构(数据的表现形式)
数据也分为结构化数据和非结构化数据,
结构化数据:
表现形式:数据表格
非结构化数据:
表现形式:非直观的数据表
对于图像数据,一般采用CNN训练;对于一维序列数据,一般采用RNN训练。
三、有关向量的维度
- 数组是向量(vector)、矩阵(matrix)、张量(tensor)的整体概括。向量是一维数组,矩阵是二维数组,张量是三维及以上的高维数组(ndarray)。这个时候,数组的维度是和空间的维度对应的。
- 然后这个时候就有一个东西叫 n 维向量,之前说了向量是一维数组,怎么又有 n 维向量?这里的 n 维指的是向量元素的个数,即可以表示 n 维空间的一个点。比如二维向量(x,y)可以表示二维平面的一个点,三维向量(x,y,z)可以表示三维空间的一个点。以此类推。
四、逻辑回归常用符号
先跳过,看完第五大点的第8小点,再来看这个,然后看第9小点。
在 logistic 回归和神经网络中,会用到一些符号:
用 (x,y)
来表示一个单独的样本【这里 (x,y)
不是一个坐标点之类的单个数字,只是一种写法】 :
五、专有名词解释:
对应第一大点的序号。
-
线性修正单元 ReLU :
深度学习中的线性修正单元(ReLU,全称 Rectified Linear Unit)是一种广泛使用的激活函数。ReLU 激活函数的定义非常简单,其形式为:
R e L U ( x ) = m a x { 0 , x } ReLU(x)=max\{0,x\} ReLU(x)=max{0,x}
这意味着:- 当输入 x 为正值时,ReLU 输出 x。
- 当输入 x 为负值时,ReLU 输出 0。
其图像如下所示:
-
Supervised Learning 监督学习
监督学习是机器学习中的一种主要方法,其核心思想是通过已知的输入–输出对(即带有标签的数据集)来训练模型,使模型能够泛化到未见的新数据上,做出正确的预测或分类。- 在监督学习中,可以使用各种不同的模型架构,包括CNN(卷积神经网络)和RNN(递归神经网络)。
- 但监督学习并不直接包含CNN和RNN,它们只是监督学习常用的模型架构。
-
Binary Classification 二元分类
在深度学习中,二元分类(Binary Classification)指的是一种分类任务,其输出只有两种可能的情况。具体来说,二元分类是将输入的数据样本划分为两个互斥的类别,这两个类别通常用“0”和“1”或者“正类(Positive Class)”和“负类(Negative Class)”来表示。- 实现二元分类的模型有很多,包括但不限于逻辑回归(Logistic Regression)、支持向量机(SVM)、神经网络(包括深度神经网络)等。
-
Logistic Regression 逻辑回归
这是一种学习算法,用在监督学习中。
逻辑回归可以被看做是一个非常简单的神经网络。
逻辑回归会先用一个公式求出预测的概率,该公式见下方:
-
Logistic Regression Lost Function 逻辑回归损失函数
在逻辑回归中,损失函数(Loss Function)是用来评估模型预测值与实际值之间差异的函数,准确的说,是“在单个训练样本中定义的,衡量了在单个训练样本上的表现”。其目的是通过最小化这个差异来优化模型参数。回归损失函数越小,表明差异越小。
对于逻辑回归,最常用的损失函数是对数损失函数(Log Loss Function),也称为逻辑损失(Logistic Loss)或交叉熵损失(Cross-Entropy Loss)。
对数损失函数公式如下:
-
对数损失函数中的 log 默认是自然对数,其底数默认的是常数 e (约等于2.71828)。实际上应该写成 ln 。
-
损失函数选用对数损失函数(Logarithmic Loss, Log Loss)的原因主要有以下几点:
-
适用于分类问题
对数损失函数通常用于分类问题,特别是二元分类和多元分类问题。它能够直接衡量模型预测的概率分布与真实标签之间的差异。
-
概率解释性强
对数损失函数基于概率理论,它利用预测概率来计算损失。这使得对数损失函数在解释模型预测结果时具有更强的概率解释性。在二元分类问题中,对数损失函数可以看作是对预测概率与实际标签之间差异的量化。
-
易于优化
对数损失函数是凸函数,具有唯一的全局最小值。这使得在优化过程中,可以通过梯度下降等优化算法找到最优解。此外,对数损失函数的梯度计算相对简单,便于实现和计算。
-
反映预测精度
对数损失函数能够很好地反映模型的预测精度。当预测概率与实际标签越接近时,对数损失越小;反之,当预测概率与实际标签相差较大时,对数损失会显著增加。这种性质使得对数损失函数成为评估分类模型性能的有效工具。
-
-
Logistic Regression cost function 逻辑回归成本函数
在逻辑回归中,成本函数(Cost Function)也是用来评估模型预测值与实际值之间差异的函数,准确的说,是“衡量了在全体训练样本上的表现”。回归成本函数越小,表明差异越小。
成本函数公式如下:
-
Gradient Descent 梯度下降法
梯度下降法(Gradient Descent)是深度学习和优化算法中非常基础且广泛使用的一种技术,用于寻找函数的局部最小值。在深度学习中,我们通常使用梯度下降法来最小化某个损失函数(loss function)或成本函数(cost function)。
基本原理:梯度下降法的基本思想是通过迭代的方式调整参数,使得损失函数逐渐减小。在每一步迭代中,我们计算损失函数关于模型参数的梯度(即偏导数),然后沿着梯度的反方向更新参数。这是因为梯度的方向指向了函数值增长最快的方向,所以其反方向就是函数值减少最快的方向。
公式如下:
————————————————————————————————————————————————————————
待更新…