线性回归、逻辑回归、梯度下降心得

线性回归：

        只针对一个自变量X，一个因变量y时：

        可以是在二维坐标系拟合出一条直线来代表点的趋势，使尽可能多的点在这条直线上，做到误差很小。

推广到多个自变量时候：

        我们可以假设有n个变量，即：x1,x2,.....xn；用线性拟合法就有：y=a1x1+a2x2+....+anxn+b

        我们需要求出a1、a2、...an、b这几个数，为了方便我们可以令b=a0x0；这样

                                            y=a0x0+a1x1+a2x2+......+anxn（x0=1）

        我们可以把y当成俩个矩阵相乘的结果，便于计算。

逻辑回归：

      逻辑回归跟线性回归有所不同，线性回归解决的一类问题是因变量为连续变化的变量，而如果因变量是一个定性的问题，那么就要用到逻辑回归了  ；最常见的逻辑回归就是分类问题，逻辑回归与其说是一个回归问题，更不如说他是一个分类问题。

        逻辑回归可以理解为将线性回归中的y值无限压缩到（0，1）中，因此它算出来的值在0到1之间，跟概率一样。

梯度下降法：

        梯度下降，顾名思义，就是像下台阶一样，如果用比喻来形容的话，就好像是一个人在山顶想要下山，他可以有无数条路径下山，但只有一条最快捷便利的方式。

         梯度下降法又称为最速下降法,是一种最优化求解算法,可被应用到线性回归算法中。常见的梯度下降法有三种：BGD、SGD、MBGD。

        BGD：又叫批量梯度下降法，它使用整个数据集的数据的梯度，每次使用全部数据值更新参数，可以找到最优解，但有个缺点就是，每次都要使用全部的数据值，会让计算量变大，时间变长。

        SGD：又叫随机梯度下降法，他是为解决批量梯度下降法而产生的，它会将所有的数据随机化，一次使用一个样本去计算梯度，更新参数，使训练速度大大提高，但最总得到的结果可能不是最优解，而是在最优解附近。

        MBGD：又叫小批量梯度下降法，小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷，也就是对于m个样本，我们采用x个样子来迭代，1<x<m。一般可以取x=10，当然根据样本的数据，可以调整这个x的值。