理解和实现逻辑回归（神经网络的“祖宗”）

字面理解

关于逻辑回归

• 错误理解：
  1.*“逻辑”的意思是“思维的规律和规则”，按照这一理解，逻辑回归，字面意思是“按照一定的回归方法（回归逻辑）进行回归分析”，即指一个类别的回归。
  2.回归的意思是确定应变量和自变量的关系，根据这一关系进行预测。通常应变量连续分布。
• 正确理解：
  1.“逻辑”是“逻辑斯蒂”（Logistic）的简称，Logistic分布的分布函数是sigmoid 函数。尽管Logistic英文有“逻辑的，逻辑学的”含义，英文直译也可理解为“逻辑回归”，这样理解容易和错误理解混淆，不建议这样理解。应该记住，此处的“逻辑（Logistic）”是指代逻辑斯蒂分布的简称的专有名词，是一个回归类别，不是回归的统称（大神莫笑…）。
  2.逻辑回归中的回归，是分类问题，不是回归问题。分类和回归属于机器学习中的两个不同任务。将逻辑回归的公式整理后，如果把一个时间发生的几率（odds）定义为该事件发生的概率与不发生的概率的比值$\frac{p}{1-p}$，逻辑回归可以看做是对事件发生的对数几率的线性回归（见公式1）。

引出Logistic Regression

回归（Regression）是研究一组随机变量$X_1,X_2,...,Y_i$和另一组随机变量$Y_1,Y_2,...Y_i$之间关系的统计分析方法，这里$X,Y$可以使一维或者多维的。最简单的回归分析是一元线性回归。
当Y表示二元输出的特例，即$Y=0或Y=1$时，希望可以通过计算得到条件概率$P(Y=1|X=x)$，即当给定自变量$x$的条件下，应变量$Y$为1的概率，显然概率$0\le p(x)\le 1$，超出[0,1]范围没有实际意义。应当建立一个怎样的函数模型，可以使对于所有的$x$，输出位于[0,1]之间？

• 假设$p(x)$是关于$x$的线性函数，线性函数必定以导数是常数的单调递增或递减（不可能是不增不减），此时$p(x)$两端有界，不可能满足线性函数条件。
• 假设$log(p(x))$是关于