逻辑回归，我现在面临一个挑战，如何从似然函数（或概率）的角度去理解w^T*x-b = 0这条直线（就是我们的模型）；

似然函数J(\theat)，theat代表模型参数。就是下图中w^T*x-b= 0这条直线。

1、似然函数和损失函不一个概念。但两者的目的都用来评价模型的好坏。

2、损失函数loss function。是通过加法的形式，对每个样本进行遍历（或者说判定），不断更新loss function；比如在SVM中，我希望margin（=1/||w||）尽可能的宽，也就是||w||尽可能得小，所以||w||本身就构成了loss function的一部分。同时，我们还希望所有的样本都不要落入到margin中，换句话说，就是落到margin之后，要对其进行惩罚，增加loss。这也解释了为什么用hingeloss（每个负样本对loss的贡献如下：max(0, 1+w^T*x_i-b)，每个正样本对loss的贡献如下：max(0, 1-（w^T*x_i-b）)。怎么理解这两个公式呢？很好理解，比如，max(0, 1+w^T*x_i-b)， 令w^T*x_i-b = -1，相当于w^T*x_i-b=0这条直线沿这法线方向向下平移1个单位，只要样本在w^T*x_i-b=-1之下，那么对loss就没有贡献。同理正样本类似）

3、似然函数。是通过乘法的形式，对每个样本进行遍历。

1）首先给定一个模型参数\theat，那么就可以知道每个样本在给定\theat前提下，出现的概率。如何做呢？（->通过一个函数（sigmoid函数）转换成概率p(x_i,\theta)，代表在\theat的前提下，样本x_i出现的概率。）

2）遍历所有的样本，每个样本出现的概率都为p(x_i,\theta)；

3）似然函数J(\theta)，等于所有样本p(x_i,\theta)连乘；

4）综上，在给定\theat（就是w^T*x-b= 0中的w^T和b参数）的前提下，通过概率的视角评价模型的好坏。换句话说，在给定一个条直线w^T*x-b= 0后，如何评价这条直线的好坏呢？通过G1中所有样本被预测为正样本、G2中所有样本被预测为负样本的联合概率进行评价，如果概率很小，是不是说明这条直线就很拉胯，如果概率非常大，是不是说明这条支直线就很棒，也就是我们要找的模型啦？

----------------------------------------------------------------------------------------------------------------

以上，是我在2021年8月7日11:08:10对逻辑回归的思考和理解。如有不当，请指正，欢迎讨论。