机器学习分类问题
逻辑回归
对于逻辑回归问题,我们最终的目的是找到特征x对应的输出y,根据y值类型的不同分为回归问题和分类问题。回归问题与分类问题需要预测的因变量不一样。在回归问题中,因变量是连续性变量,我们需要预测 𝐸(𝑌|𝑋) 是一个连续的实数,但是在分类问题中,我们往往是通过已知X的信息预测Y的类别,往往是一个离散集合中的某个元素。
分类问题的几个模型
基于概率的模型
线性模型和朴素贝叶斯模型的主要区别:在线性判别分析中,我们假设每种分类类别下的特征遵循同一个协方差矩阵,每两个特征之间是存在协方差的,因此在线性判别分析中各种特征是不是独立的。但是,朴素贝叶斯算法对线性判别分析作进一步的模型简化,它将线性判别分析中的协方差矩阵中的协方差全部变成0,只保留各自特征的方差,也就是朴素贝叶斯假设各个特征之间是不相关的。
1.贝叶斯公式的线性模型
贝叶斯公式:𝑃(𝑌=𝑘|𝑋=𝑥)= π k f k ( x ) ∑ l = 1 K π l f l ( x )