机器学习（7）Logistic Regression逻辑回归

逻辑回归，又称逻辑斯蒂回归，其英文名称为Logistic Regression，取这个中文名字的人为什么要用“逻辑”这个音译的词，“逻辑”这个词的误导性太大，还让人很迷惑。

logistic = log + istic

后缀-istic = 属于…的,有…性质的,关于…的,…主
 

同缀词：

1.atomistic [atom n. 原子 + -istic 形容词后缀 → ]
adj. 原子论的

2.theistic [the 神 + -istic 形容词后缀 → ]
adj. 有神论的

3.idealistic [ideal n. 理想，主义 + -istic 形容词后缀 → ]
adj.唯心论的

4.simplistic [simpl = simple n.& adj. 笨蛋；愚蠢的行为;简单 + -istic 形容词后缀 → ]
adj.过分简单的

5.artistic [art 艺术 + -istic 形容词后缀 → ]
adj. 艺术的

6.antagonistic [ant- 反对 + agon 斗争 + -istic 形容词后缀 → ]
adj. 敌对的

7.humanistic [human n. 人类 + -istic 形容词后缀 → ]
adj.人道主义的（human人类）

8.moralistic [moral n.道德 + -istic 形容词后缀 → ]
adj.道学的

9.hedoniatic [hedon 愉快 + -istic 形容词后缀 → ]
adj.享乐主义的

逻辑回归从数学上讲，就是在线性回归的基础上，外层套了一个sigmoid函数，sigmoid函数如下所示，它的特点就是无论x怎么范围，能够把f(x)限制到[0, 1]之间，这样方便于做0-1二分类。

另外，sigmoid函数还有很好的数学特性，其导数很特别，s'(x) = s(x)*(1-s(x))，后面再细说。

sigmoid函数非凸，需要做对数变换。

具体的，逻辑回归的代价函数的推导如下所示：

所以，逻辑回归还不如取名叫：对数化回归，反而更确切！！！

（如果对你有启发，请【在看】支持，谢谢！）