机器学习分类问题

机器学习分类问题

逻辑回归

对于逻辑回归问题，我们最终的目的是找到特征x对应的输出y，根据y值类型的不同分为回归问题和分类问题。回归问题与分类问题需要预测的因变量不一样。在回归问题中，因变量是连续性变量，我们需要预测 𝐸(𝑌|𝑋) 是一个连续的实数，但是在分类问题中，我们往往是通过已知X的信息预测Y的类别，往往是一个离散集合中的某个元素。

分类问题的几个模型

基于概率的模型

线性模型和朴素贝叶斯模型的主要区别：在线性判别分析中，我们假设每种分类类别下的特征遵循同一个协方差矩阵，每两个特征之间是存在协方差的，因此在线性判别分析中各种特征是不是独立的。但是，朴素贝叶斯算法对线性判别分析作进一步的模型简化，它将线性判别分析中的协方差矩阵中的协方差全部变成0，只保留各自特征的方差，也就是朴素贝叶斯假设各个特征之间是不相关的。

1.贝叶斯公式的线性模型

贝叶斯公式：𝑃(𝑌=𝑘|𝑋=𝑥)= π k f k ( x ) ∑ l = 1 K π l f l ( x )