深度学习之逻辑回归

机器学习介绍

机器学习可简单理解为给定一定的输入，通过施加一定的算法，得到输出，然后通过学到的知识，输入新的数据，获得新的输出；

意思就是有输入和输出，我们需要将由输入得到输出过程中用到的函数或算法找出来，并且给我们新的输入能够得到新的输出，重点在于如何找到算法或函数；比如找矩阵分解中的损失函数，找损失函数用到了梯度下降，只要找到梯度下降中的参数就能够找到损失函数，从而完成矩阵分解给出新的输入得到新的输出。

逻辑回归

逻辑回归简单讲它是线性回归的一种，事实上它是一个被logistic方程归一化后的线性回归，可以用于估计某事物的可能性或对流行病学资料的危险因素分析。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺旋杆菌感染等。然后通过逻辑回归，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。

可以理解为一个线性回归经过阶跃函数的处理，变成一个二项分类器，输出结果只能是“0~1”的条件概率的大小，其实是一种概率模型；如上述胃癌病情分析，输出结果的值只能为“是”或“否”。

对sigmoid函数进行逻辑回归

1.sigmoid函数它能够把任何一个线性的值转换为0或1；（注：sigmoid函数中是一元线性回归函数）

基于上述sigmoid的函数值域在（0，1）之间，这正可以表示一个概率值（暂不考虑该率为0或1的情况）。有一元线性回归函数,将sigmoid的函数中换成一元线性回归函数；

 这样就完成机器学习的逻辑回归函数的查找；

有了输入输出并找到了逻辑回归中的函数，然后只需要求出函数中的参数和；

2.求解参数 ；

求解（可以堪称是的一个分量，这个时候对应的值默认为1）；

求解有两种方法：a.最大似然估计法；b.从损失函数出发；

 从损失函数出发：

这里引出对数损失函数或对数似然损失函数（即对函数取对数）

 

得到了逻辑回归的对数似然损失函数；

 然后到这里求θ和b的方法和用似然估计的方法一样，可以使用梯度下降的方法；

最终迭代得：