神经网络和深度学习（5）-- 逻辑回归

神经网络和深度学习
上一篇	主目录	下一篇

---

【前言】
逻辑回归学习算法，该算法适用于二分类问题，本节将主要 介绍逻辑回归的 Hypothesis Function（假设函数）
本文中符号约定见：神经网络和深度学习（4）–符号约定

---

1.逻辑回归

对于二元分类问题来讲，给定一个输入特征向量X ܺ，它可能对应一张图片，你想识别这 张图片识别看它是否是一只猫或者不是一只猫的图片，你想要一个算法能够输出预测，你只 能称之为yhat，也就是你对实际值 y的估计。更正式地来说，你想让 yhat 表示 y 等于 1 的一 种可能性或者是机会，前提条件是给定了输入特征 ܺ，你想让 yhat 来告诉你这是一只猫的图片的机率有多大。X 是一个݊ n_x X 1维的向量（相当于有݊n_x 个特征的特征向量）。我们用 w 来表示逻辑回归的 参数，这也是一个݊ n_x 维向量，参数里 面还有b ܾ，这是一个实数（表示偏差）。所以给出输入x以及参数 w 和 ܾ b之后，我们怎样 产生输出预测值ݕ̰，一件你可以尝试却不可行的事是让yhat=w^Tx+b ܾ。

这时候我们得到的是一个关于输入 x的线性函数，实际上这是你在做线性回归时所用到 的，但是这对于二元分类问题来讲不是一个非常好的算法，因为你想让yhat表示实际值 y等于 1 的机率的话，yhat应该在 0 到 1 之间。这是一个需要解决的问题，因为w^Tx+b可能比 1 要 大得多，或者甚至为一个负值。对于你想要的在 0 和 1 之间的概率来说它是没有意义的，因 此在逻辑回归中，我们的输出应该是yhat等于由上面得到的线性函数式子作为自变量的 sigmoid 函数中，公式如上图最下面所示，将线性函数转换为非线性函数。

些要注意的事情，如果 非常大那么t 将会接近于 0，关于 的 sigmoid 函数将会近似等于1 除以 1 加上某个非常接近于 0 的项，因为 t 的指数如果是个绝对值很大的负数的话，这项将会接近于 0，所以如果 很大的话那么关于 的 sigmoid 函数会非常接近 1。相反地，如果 非常小或者说是一个绝对值很大的负数，那么关于t 这项会变成一个很大的数，你可以认为这是 1 除以 1 加上一个非常非常大的数，所以这个就接近于 0。实际上你看到当 变成一个绝对值很大的负数，关于 的 sigmoid 函数就会非常接近于 0，因此当你实现逻辑回归时，你的工作就是去让机器学习参数 以及 这样才使得 成为对 这一情况的概率的一个很好的估计。

---

神经网络和深度学习系列笔记： 传送门