tensorflow从0开始（3）——数学概念的自我理解

说明1

数学概念已经交给老师好多好多年了，我都已经快不记得时间了。所以这篇帖子没有系统性，用到了就去查，查到了就加一点进来。

说明2

英语不好，所以很多东西理解不到位。多交流。

说明3

东西一次学不会，每次遇到问题，就去重复一下，慢慢就懂了，所谓书读百遍，其义自现，大体也就是这个道理了。

回归

在很长一段时间，我是理解回归这一概念的，并且我会纠结于此，直至此次，纯属个人见解。回归的英文是Regression，google了下，Regression是退化的意思。再去理解回归，就是退化的意思啊。拿二分类问题举例，也许有一个标准的模型可以完全准确的实现分类，但条件所限，我们利用线性函数近似，这个函数只能近似的实现分类，与标准模型还是有差距的，是标准的一种退化或近似，所以叫做linear regression，就是所谓的线性回归（我觉得叫线性退化，我更能理解一些）。

Logistic Regression

http://www.holehouse.org/mlclass/06_Logistic_Regression.html

http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html

有问题直接看帖子，英文好的，直接看老外的东西。 
我第一次看有疑问的东西，简单加上一些自己的理解：

• Hypothesis Function: 就是说我先假设一个函数就是我所需要的函数。

• Cost Function，Loss Function, Error Function : 通过Hypothesis Function所产生的结果，和实际的结果总是有差距的，该函数就是用来描述这个差距的。

• Gradient descent（梯度下降）：要使Cost Function最小的方式，沿着梯度的下降的方向，不断迭代寻找。其中梯度下降的方式也有很多 
  http://blog.csdn.net/google19890102/article/details/48766869，大家可以简单了解下，用到再来更新具体的方法。

Softmax Regression

http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ 
就是看到了Softmax Regression才追到上面的logistic Regression，就是logistic Regression在多分类问题上的一种扩展。

Gradient Descent(梯度下降)

• 下面的链接中介绍了几种梯度下降和梯度下降优化算法，虽然看的不是很懂，但是有个概念了，其中关于优化算法有两张动图还是比较直观的： 
  http://sebastianruder.com/optimizing-gradient-descent/index.html#fn:1

• 下面这篇CSDN博客介绍了随机梯度下降和批量梯度下降，虽然比较简单，但也是我能找到的解释的比较好的中文介绍了（谁让英文不好呢。。。） 
  http://blog.csdn.net/lilyth_lilyth/article/details/8973972 
  http://www.bubuko.com/infodetail-898846.html

cross entropy(交叉熵)

https://www.youtube.com/watch?v=tRsSi_sqXjI

机器学习中的范数规则化之（一）L0、L1与L2范数

http://blog.csdn.net/zouxy09/article/details/24971995

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

待续。。。