机械学习—零基础学习日志（数学基础汇总1）

零基础为了学人工智能，正在艰苦的学习

我比较推荐，《三个月从零入门深度学习，保姆级学习路线图》的整体学习思路，但因为数学基础太差，而且针对所需的数学系统知识，我依然没有很明确的学习方向。

所以直接使用，阿里云的AI数学基础课程学习。

导数

对数换底证明：

组合运算：

应用空间：

1，求极值时，会使用到求导，f'(x) = 0

2，神经网络的激活函数，也会使用求导

高阶导数

高阶导数其实就是多次求导，二阶导就是在一阶导基础上再求导。三阶导是在二阶导基础上再求导，以此类推。

导数与函数的性质

• 函数单调性
• 极值定理
• 导数与函数凹凸性：
  1. 从下往上看，如果是凸就是凸函数，如果是凹，那就是凹函数。这是通过二阶导的性质判断的。f"(x)大于零，为凸函数。f"(x)小于零，为凹函数。

f'(x) = 0 是函数的驻点，增减点。

f"(x) = 0 是函数的拐点，凹凸性质的变化点。

PS：

再强调充分条件与必要条件。A是B的充分条件，A满足，B一定满足。A是B的必要条件，A不满足，B一定不满足。

泰勒公式：（详细学习，见我以前的文章）

向量以及运算

向量是线性代数基本概念：一维数组，由n个数构成的。

几何意义：空间的一个点

物理意义：力或者速度

n维向量的集合，构成了n维欧式空间，Rⁿ

向量分为行向量与列向量

转置矩阵其实就是，行向量变列向量~

向量运算公式

向量叉乘：一般只在三维空间中使用

向量范式

注意事项：向量绝对值与向量模长是不同的概念

 

矩阵知识

矩阵类型

矩阵运算

矩阵运算规律

行列式

行列式计算需知：

行列式计算部分方法：建议直接问ai或者直接看视频

推荐B站视频：《行列式的本质是什么？三行四列行列式有什么问题？【无痛线代】》

• 初等变换
• 对角线乘积

余子式计算：
 

高斯消元计算：

偏导数

高阶求偏导

梯度：

雅可比函数

Hessian矩阵

Hessian矩阵应用：

赫西矩阵在优化理论、经济学、机器学习（特别是在训练神经网络的二阶优化算法中）、物理学（如量子力学和统计力学）等领域有广泛应用。例如，在机器学习中，二阶优化方法如牛顿法利用赫西矩阵来加速寻找损失函数的最小值点，提高优化算法的收敛速度。

赫西矩阵的计算和分析在数值计算中也非常重要，尤其是在处理高维问题时，直接计算和存储赫西矩阵可能非常耗时和占用大量内存，因此开发有效的近似和优化方法是当前研究的热点之一。

正定的定义

正定作用：

主要参考资料：阿里云《龙珠训练营》 AI学习课程  AI学习 - 阿里云天池

使用ChatGPT做学习

不懂的直接在B站搜索相关讲解视频