Make AI，Not War

生成模型与判别模型1.定义2.通俗解释例1：猫狗分类例2：如何确定一只羊是山羊还是绵羊例3.识别一种语言是哪种语言例4.跟踪问题3.如何选择哪种模型主要来源：[白话解析] 深入浅出最大熵模型1.定义生成模型(Generative Model, GM)：先对联合概率P(x,ω)P(x, ω)P(x,ω)建模，然后再求取后验概率模型。判别模型(Discriminative Model, DM)：从数据集D中直接估计后验概率模型：P(ω1∣x)，P(ω2∣x),...,P(ωN∣x)P(ω_1 | x)

隐马尔可夫模型（HMM）1.部分参考内容2.引言3.隐马尔可夫模型的定义1.部分参考内容Youtube（无中文字幕）隐马尔可夫模型(HMM)详解2.引言Alice和Bob住的很远，只能通过电话交流。Bob的心情会随天气的好坏而变化，天气sunny的时候，他就happy，天气rainy的说话，他就grumpy。Bob通过电话告诉Alice他很happy，Alice就可以推测Bob那的天气是sunny，反之，也可以推测出rainy。那么，如果问题再稍微复杂一点呢。假如Bob的心情在s

多分类学习1.引言2.OvO3.OvR4.MvM4.1 编码4.2 学习4.3解码1.引言对于神经网络来说，多分类是完全不成问题的。但是对于传统的机器学习方法来说，一些算法可能并不能直接用来进行多分类。比如，基本的逻辑回归只能做二分类。所以，为了让那些仅可以做二分类的算法解决多分类问题，很多方法都被提出了。这其中，主要有OvO，OvR，MvM。2.OvO也就是一对一。即把N分类问题分解成N(N-1)/2个二分类问题，训练出N(N-1)/2个分类器，使用时，将样本同时提交给所有分类器，然后对这些分

SVM与Logistic回归的区别1.相同点1.1 都是分类算法1.2 如果不考虑核函数，LR和SVM都是线性分类算法1.3 LR和SVM都是监督学习算法。1.4 LR和SVM都是判别模型.2.不同点2.1 本质上是其loss function不同2.2 支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局.2.3 在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法2...

SVM1.前言2.间隔和支持向量（基本原理）3.对偶问题1.前言在神经网络火之前，SVM是一种很强大很火的算法，只是神经网络火了以后，SVM就逐渐“没落”了，但这并不妨碍它在传统算法里的强大。在很多时候，他也是十分有用的。像fisher和感知器一样，SVM在分类任务中也是要找一个最优的超平面，让这个超平面能够分开不同类别的样本，使总的错误率最小。只是三种算法求最优超平面的方法不一样。最优的超...

AdaBoost1.前言1.前言

随机森林1.前言2.随机森林2.1 为什么会有随机森林2.2 建立一个随机森林step1：创建一个引导（bootstrapped）数据集step2:使用引导数据集建立决策树step3：重复2.3 怎么使用一个随机森林3.评估随机森林4.怎么确定选择属性的个数5.Warning of Math1.前言本文参考视频：https://www.youtube.com/watch?v=J4Wdy0Wc...

决策树1.基本流程1.1介绍1.2算法2.划分选择（每个结点如何选特征）2.1 信息增益（ID3算法）2.2例子2.3 增益率（C4.5算法）2.4 基尼指数（CART决策树）3.剪枝处理3.1 预剪枝3.2 后剪枝4.连续和缺失值4.1 例子4.2 缺失值处理4.2 例子5.多变量决策树6.总结1.基本流程1.1介绍决策树算法主要用来解决分类问题，但是也可以用来解决回归问题。如图，下面是...

线性模型本节内容：一元线性回归多元线性回归广义线性模型对数几率回归注意：所有的向量默认是列向量虽然建议大家了解计算过程，但是实际应用中计算用的不多，都是使用的现成的工具。可以跳过.什么是线性模型给定由d个属性描述的示例x={x1;x2;x3;…;xd}，其中xi是x在第i个属性上的取值。线性模型试图学得一个通过属性得线性组合来进行预测得函数，即：很好理解，线性模型就是...

模型评估与选择在机器学习项目中，归根结底是要建立一个模型，能很好的解决我们的问题。比如，图像分类。但是，怎样去衡量一个模型的好坏呢？又怎样在多个模型中选择最好的那一个呢。一般情况下，这个问题也不难理解。比如做一个二分类问题，只要分类的结果正确的越多，当然模型的准确率就越高，有多个模型时，选择正确的最多的那个就好了。（不考虑算法复杂度的情况下）但是，如果问题比较复杂，可能单纯的准确率就无法满足...

机器学习概述机器学习的应用场景，发展历史什么的都不再赘述了，这些东西在随便一本和机器学习有关的书的开头都能找到。在这就只讲理论了。1.什么是机器学习机器学习有很多定义，但是却没有一个统一的定义。一些定义如下：吴恩达：Machine Learning is the science of getting computers to act without beingexplicitly ...