吴恩达机器学习(三)（logistics回归）

分类问题：先从一个二元分类开始。二元分类问题是让我去将问题分成两类，这两类互相呈对立面。

logistics回归的本质上就是研究sigmoid（激活）函数，
y=1/（1+e^-x）也可以叫做logistics函数，他是个生物学概念函数。
我们可以看到激活函数经过（0,0.5），当我们将第一节课学的拟合函数
h_θ(x)=θ^Tx（θ，x默认是一个列向量）外面再套上一层对应关系g()，这个对应关系就是激活函数中x与y的关系。
如图，令其θ^Tx=Z为横坐标；当h_θ(x)大于等于0.5时，Z正好对应这大于零，反之亦然。
同时我们在描述这个h_θ(x)=g(θ^Tx)=1/（1+e^-Z）的时候，基于他的最大值为1，和如果过0点，那么其纵坐标值也将大于0.5这个特点，如果假设条件是当输出值h_θ(x)>0.5时我们自动判断一个实际情况y=1，反之y=0。那么他就表示成
P(y=1|x；θ)，他表示在x和θ一定条件下的y=1的概率，在线性回归中h_θ(x)这个原本是拟合曲线的狗东西现在变成了概率了。参数θ和数据的特征量x我们在没有实际情况出现前都是不知道的。当然，如果数据是以0为u的正态分布，那么y=0或者1都将接近百分之五十。

上面我们提到了如果说参数θ和数据的特征量x不确定的情况下，那么判断这个y=0,1是无法进行的。那么现在我们定义了如果给定了θ，如下图θ=[-3 1 1]’;我们就能发现在以特征量x为坐标轴的坐标系上面产生了一条边界。我们称他就是决策边界
从下图我们可以发现，决策边界仅仅与θ有关，而与数据无关，它不代表数据的属性。

我们来看稍微复杂的一个例子，我们给原来的h_θ(x)增加两个特征量x₁²，x₂²
那么问题来了，我们可以随便增加特征量吗？答案自然是可以的，我们可以回顾第一课笔记中的以三角函数为基函数的非线性拟合，这里的基函数就相当于特征的意思，当我们使用在1,x,x² 。。。的时候一样可以进行拟合，特征选择的时候关键是看数据特征和你想要什么样的决策边界。
下图的决策边界就是一个圆。

我们现在学习如何去拟合θ，我假定了m组特征，m组y值，这个y值我们称他为标签值，也就是实际情况。二元分类问题中它是非零即一。每一个特征当中有n+1的训练数据。h_θ(x)的对应关系是激活函数。

现在去定义一个代价函数，如果这个代价函数最小，那我们就找到了一个最能体现输出值h_θ(x)表达实际情况y的θ值，也就是能做预测了。

我们将之前学的线性拟合代价函数中1/2m中的1/2放到求和符号的里面，然后去定义这里面为一个cost函数，我们如果把h_θ(x)=g(θ^Tx)=1/（1+e^-Z）这个对应关系放入到cost函数中回代就会发现，J会变成如图一的有多个局部最优解的非凸函数，它不会像梯度下降线性回归中的代价函数一样呈现一个单弓型凸函数（那么最优解就好找了），就是因为他现在用在了logistics回归上。

基于上面的复杂情况，我们重新定义了一个cost函数，他的方程如下，他的概念不再是输出值和y的差值的平方了，而是在原来的sigmoid对应关系上套了一层log的鬼玩意儿。