基础算法学习task1

基础算法学习task1
1.机器学习中的一些概念：
1)有监督：学习任务通过样本训练，从而达到预测事先标记出的离散值（即“分类”）或者连续值（“回归”），则称为有监督学习
2)无监督：学习任务通过样本训练，从而达到预测事先不曾标记出信息（“聚类”）则称为无监督学习
3)泛化能力：机器学习中所学得的模型，不仅能够在训练样本上适用，还可以在没有在训练中出现过的样本上适用的能力称为泛化能力
4)过拟合：当学习器在进行样本训练时，将训练样本自身的一些特点作为所有潜在样本都会具有的一般性质，从而导致泛化性能下降，则称为过拟合。改进方法有通过经验误差最小化从而获得最优解。
5)欠拟合：学习器对于训练样本的一般性质尚未掌握好，称为欠拟合。改进方法有在决策树学习中扩展分支，在神经网络学习中增加训练轮数。
6)方差和误差：对于测试样本x，令为x在数据集中的标记，y为x的真实标记，为训练集D上学得模型f在x上的预测输出
方差为:var(x)=[(-f(x))]
误差为：ε=[(-y)]
7） 交叉验证：先将数据集D分为k个大小相似的互斥子集，每个子集Di都尽可能的保持数据分布一致性。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，这样可以获得k组训练/测试集，从而进行k次训练和测试，最终返回的是这k个测试结果的均值。
2.线性回归原理
从给定的数据集中得到一个线性模型（f（）=w+），使得f（