从数学到AI

1、不可预测性

目标函数不明确问题，比如恋爱问题的不可量化。

数据样本、信息不对称：当智慧人类（脑残不算）参与度高的系统，更容易变为一个成熟系统；流动性越是强劲，这个时候每个人的行为越容易“市场化”，要想胜利，只有从宏观角度去建模问题，比如上帝视角。

而弱流动性的系统，只要稍微有一点智慧，即可以达到收益/风险、收益/成本很高；比如前段时间在群里看到一个很有意思的例子，有个人，每年上下班走路的通勤时间都是被精确计算和应用的，也就是说这个人每天几点几分出门都是计算出来的，这样的话他的时间利用率就会很大。简单地说，就是小到通勤这件事，10000个人干，只有1人是精确计算的，那么这个收益就比较有效。

规则的不确定性，同样是恋爱问题，规则自由度非常大；比如莫斯叛逃的问题，“没有人类的人类文明将毫无意义”这是无法规则化、量化的。

典型问题：恋爱、股票市场。

 

2、极限->导数->中值定理->洛必达法则推导链

由柯西中值定理可推导出洛必达法则。

 

3、极限->导数->偏导数->链式求导->BP反向传播

 

4、泰勒级数->e的x次方->SVM无穷维核函数

 

5、损失函数与模型复杂度的权衡

一般典型的损失函数就是：

而为了达到其最小，有可能模型会很复杂，比如10000个w，和10个w，但他们的cost可能只差1%，这时候，选哪个？

于是就有了通式：

 

6、误差函数/噪声函数的复杂性

在经典的NB决策问题里，大家都知道前提条件就是噪声以高斯模型为分布；然而现实生活中，一些问题对应的噪声，其分布往往不是高斯分布、可以是abs高斯分布、指数分布等。

 

7、为什么PCA中，特征值很小，但不一定代表特征就是不重要的？

我们在做PCA分析时，是默认假设样本/特征服从高斯分布，或者说某种分布，但是如果实际的样本集S是有偏的呢，导致了某个特征的变化特性没有暴露出来，这可能就会就会使得后面计算得到的特征值很小了，但这样的结果并不能确定这个特征不重要，所以实际场景中还得看具体情况。

还有一点在于，我们所假设的高斯分布，是一种单高斯分布，而实际特征空间中可能是多高斯分布，此时如果有label信息的话可以要采用LDA。

8、贝叶斯决策的与先验知识

贝叶斯决策需要利用先验概率，而当先验概率与先验知识发生矛盾时，怎么保证后验概率的科学性，这就需要权衡。比如抛10次硬币，9次为正，1次为负。显然，如果用简单的贝叶斯决策，预测第11次时，就会有0.9>0.5的概率预测为正。