Statistical learning Week 1 什么是统计学习？

2016－10-14

关于这门课

这门课使用的教材主要是《An Introduction to Statistical Learning
with Applications in R》，老师上课的PPT也是从上面下载的。刚开始老师还加了很多自己的东西，后来可能觉得我们太笨了，所以就按部就班讲了 :happy

一开始还要求上课前尽可能预习，从第二周开始没人预习后，老师就再也不提了。

书中R语言部分并没有讲，自己也没有学习。

Week1 什么是统计学习？

宽泛的讲，统计学习(Statistical Learning)是指为了理解数据而创造的一系列工具集。

Outline

什么是统计学习？

• 为什么要估计f?
• 怎样估计f?
• 预测正确率与模型复杂度之间的衡量
• 监督性学习与非监督性学习
• 回归与分类问题

什么叫矩阵(Matrix)？

在网上搜，五花八门，但是一般意义理解的 矩阵就是由方程组的系数及常数所构成的方阵。 在数学名词中，矩阵用来表示统计数据等方面的各种有关联的数据。 矩阵的意义是线性变换 , 相似矩阵是同一个线性变换在不同的基下的表示.

下面的blog刚开始看，讲的啥玩意，我只想看看矩阵最基本的定义，看完觉得啊～～原来如此～～～～～(作为扩展了解)
http://blog.csdn.net/myan/article/details/647511
http://blog.csdn.net/myan/article/details/649018

2016－10-15

什么叫张量(Tensor)？

张量的概念是 G.Ricci 在19世纪末提出的. G.Ricci 研究张量的目的是为几何性质和物理规律的表达寻求一种在坐标变换下不变的形式. 他所考虑的张量是如同向量的分量那样的数组, 要求它们在坐标变换下服从某种线性变换的规律. 近代的理论已经把张量叙述成向量空间及其对偶空间上的多重线性函数, 但是用分量表示张量仍有它的重要性, 尤其是涉及张量的计算时更是如此.
作者：andrew shen
链接：https://www.zhihu.com/question/20695804/answer/43265860
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

感兴趣的话可以仔细看看这个知乎问答，也就是说一阶张量是向量，二阶张量是矩阵等等（我可能只理解到了这。。。）

记号Notation

此处的记号表示，即为书中的表示方式。大概了解下就好。

$n$ 表示不同数据点或样本中观测点(observation)的个数
$p$ 表示用于预测的变量(variable)个数
$x_{ij}$ 代表第i个观测值的第j个变量值
$X$ 代表矩阵

An observation $x$
An example $(x,y)$
A sample ${(x_1,y_1),...(x_n,y_n)}$

什么是统计学习？

假设有观测点 $Y_i$ 和 $X_i=(X_{ij},...,X_{ip})$ ，其中 $i=1,...,n$ 。我们相信$Y$ 和至少一个$X$ 中存在着一种关系(relationship)。建模如下：

Yi<