Linear Regression Logistic Regression

线性回归概率解释。假设误差分布为正态分布，然后在theta条件下y相对于x的概率分布就是误差的概率分布了。

这时存在m个样本，由于m次实验是相互独立的，所以结果向量y的分布概率密度应为各次实验y分布概率密度的乘积

这是我们需要搞定的一个问题就是，theta取何值时，得到的L函数值最大。

这里的一些解释：由于误差epsilon服从期望为0的正态分布，所以在epsilon越接近0时，即模拟值theta · x 越接近y值时，概率密度越大。所以如果要使得模拟值最大程度地接近y值，L值应尽可能地大。所以我们需要找到使得L值最大的theta

log函数是严格单调递增函数，所以取 l=logL 将乘法转化为加法，幂运算转化为乘法运算，便于计算。

逻辑回归

线性回归是对连续目标值的模拟，而逻辑回归是利用theta的某函数进行对于给定输入数据的评估分类，输出为0或1。

此时若使用线性函数作为h评估函数 那么由于函数图像是一条直线，并不能体现出输入不同对于输出的影响。所以使用了sigmoid函数，在h=1/2的附近，函数值的变化很快，会迅速地从0变为1，更适合分类。

将theta · x 作为函数的自变量。仍然从概率方面入手，将h函数的值作为x给定的情况下y取1的概率。此时有：若theta · x大于0，则h函数的值大于1/2 即y取1的概率大于1/2，y更有可能取1。否则，y更可能取0。

仍然利用极大似然方法，求结果向量y在给定x输入组的情况下的概率分布。

此时利用极大似然方法的意义，使得每个样本中的y都能取得“有着较大概率取得”的值，以分类的角度看，即是分到更为客观的那一类中。

GLM（generalized linear model 广义线性模型）

 exponential family 

y在某前提下的概率密度有固定程式

1 如果theta前提 x条件下 y的分布是ex family

2 h函数为x条件下T(y)的期望

3 fai为theta · x

即可得到一个线性模型