分类:概率生成模型
分类举例
- 资信评估:输入——收入、储蓄、职业、年龄、过去的金融历史;输出——接受或拒绝。
- 医疗诊断:输入——当前症状、年龄、性别、既往病史;输出——哪种疾病。
- 手写汉字识别
- 人脸识别:输入——人脸图像;输出——人。
示例——宝可梦
模型:
损失函数:,意为:f在训练数据上得到错误结果的次数。
找到最佳函数,例如感知器、SVM……
用于分类的训练数据:
训练时——类别1表示目标为1;类别2表示目标为-1
测试时——更接近1的划分为类别1;更接近-1的划分为类别2
贝叶斯公式:
用途:可用于推测某个宝可梦属于哪些属性的概率问题,如下所示。
每个神奇宝贝都由其属性表示为一个向量,拿考虑防守和SP防守这两个属性举例,所以得到很多个二维向量,假设这些点是从高斯分布中采样的。
高斯分布:
输入:向量x;输出:抽样概率x 。
函数的形状由均值和协方差矩阵
决定的。
步骤总结:
(1)建立函数
(2)函数的优度。找到使可能性(生成数据的概率)最大化的均值μ和协方差σ
(3)找到最佳函数
概率分布
你可以使用你喜欢的分布,例如高斯分布等等;
对于二元特征,您可以假设它们来自伯努利分布;
如果你假设所有的维度都是独立的,那么你使用的是朴素贝叶斯分类器。
后验概率
令:
所以:,即Sigmoid函数。
,其中
在生成模型中,我们估计,我们就可得到
的值。
分类:逻辑回归
步骤
(1)建立函数:包括所有不同的
(2)模型的优度
(3)找到最佳函数
逻辑回归:
逻辑回归与线性回归的区别
逻辑回归的不足
当函数点如下图分布,就无法利用逻辑回归将其很好得分开
解决办法:特征转换,假设为到
的距离,
为到
的距离。
所以上面的函数点就会变成下面这种分布:
深度学习
步骤
(1)神经网络(Neural Network)
不同的连接导致不同的网络结构
全连接前馈网络:
(2)模型优度(goodness of function)
(3)找到最佳函数(pick the best function)——利用梯度下降法