机器学习之微积分与概率论基础笔记

复习微积分

两边夹定理：

极限：

由上图：sinx <x<tanx， x∈U(0,ε)

该式将三角函数和多项式建立了极限关系。

极限存在定理：

单调有界数列必有极限，单增数列有上界，则其必有极限

构造数列{xn}

自然常数：

导数

简单的说，导数就是曲线的斜率，是曲线变化快慢的反应，二阶导数是斜率变化快慢的反应，表征曲线的凸凹性

常用函数的导数：

导数应用：求解x^x

Taylor公式 – Maclaurin公式

简单来讲就是用一个多项式函数去逼近一个给定的函数(即尽量使多项式函数图像拟合给定的函数图像)，注意，**逼近的时候一定是从函数图像上的某个点展开。**如果一个非常复杂函数，想求其某点的值，直接求无法实现，这时候可以使用泰勒公式去近似的求该值，这是泰勒公式的应用之一。泰勒公式在机器学习中主要应用于梯度迭代。

Taylor公式的应用

数值计算：初等函数值的计算(在原点展开)

** 在实践中，往往需要做一定程度的变换。**

方向导数：

梯度：

凸函数：

凸函数的判定：

凸性质的应用

注意到y=logx在定义域上是凹函数，可得证明如下：

二、复习概率论

概率

分布

两点分布

二项分布

泊松分布：

均匀分布：

指数分布：

正态分布：

总结：

Logistic函数：

Logistic函数的导数：

结语

本篇博客抱着学习的态度，初次找了一些资料学习并做了一些简单的笔记整理，学习真的是一个循序渐进的过程，很多忘了的东西再学也会花好长的时间来补，更不用提遇到的新知识了。学习注定是一个苦乐交织的过程，要耐得住孤独，守得住寂寞，要记得你走过的每一步都是在给未来铺路。曾经看过这样一句话：人的一生需要一点浪漫和野性，我们走过的每一步都是有价值的，任何人的成功都不是一蹴而就的，就连宝石也要经过千万次打磨才能够平滑和闪耀，当我们徘徊于过去，犹豫未来的时候有多少比我们优秀的人已经为自己喜欢自己坚持的事业在努力了。当你真正为了达到某种目标而不懈努力甚至乐此不疲时，才是你真正踏上荣耀之路的时候。能否踏上荣耀之巅，就看你能否坚持走下去了，朋友们，加油吧！这篇博客写到这里 正好是十二点整，听到外面的鞭炮声（乡下偏远地区还没完全施行禁炮）才意识到过了十二点就是新年了，新的一年，新的开始，2020年加油吧，精彩的未来，鼠于你我！