逻辑回归分类Iris数据集

逻辑回归原理

       逻辑回归的本质就是线性回归的一种。名称虽然是逻辑回归，但却是解决二分类问题的一种最常用方法之一。在工业界和SVM算法都是相当经典的二分类算法。

       下图是手推的逻辑回归相关概念的集合。

       首先，线性回归所解决的问题，就是在已有的数据集基础下，使用线性函数为样本的预测函数，并通过将损失函数最小化的方法，寻找到该数据集最具有代表性的一个线性方程。 而逻辑回归是在线性函数的基础上叠加上了一个非线性函数，将线性问题转化成了非线性问题。并且使用的这个非线性函数具有二分类的良好特性。从而进行了数据的分类操作。（sigmoid, tanh等，都是良好的分类函数。） 如左上角的图所示，直线的分类方法通过分类函数映射到了一个非线性函数上，该非线性函数能直接反应二分类问题的解。

       逻辑回归里通常使用sigmoid函数是因为sigmoid函数有简单的一阶导数形式。以及良好的归一化性能。

       公式推导的就是求最大似然函数的过程。将概率相乘求对数，然后求解该方程的梯度方向，并用梯度下降法迭代求解极值。所得到的的解，就是该训练集处的分类概率最大化的值。也就是该训练集下可能的最优解之一。

逻辑回归代码实现

       将sigmoid函数和costfu