机器学习----李航《统计学习方法》 笔记 (1)

1.1统计学习

1.统计学习的特点

   		  1.以计算机及网络为平台，是建立在计算机及网络之上的 
  		  2.以数据为研究对象，是数据驱动的学科
	 	  3.目的是对数据进行预测和分析
		  4.以方法为中心，构建模型并应用模型进行预测与分析
		  5.是概率论，统计学，信息论，计算理论，最优化理论，及计算机科学等多个领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论

2.统计学习的对象

1.数据—>包括存在于计算机及网络上的各种数字，文字，图像，视频，音频数据以及它们的组合

3.统计学习的目的

1.对数据进行预测与分析，使得计算机更加智能化，或者让计算机的性能得到提高，给人们带来新的发现

4.统计学习的方法

1.三要素：模型，策略，算法

1.2 监督学习

1.21基本概念

输入空间 特征空间 输出空间
输入可能取值的集合 所有特征向量存在的空间 输出可能 取值的集合

表示输入实例x的特征向量

连续变量------回归问题
有限个离散变量------分类问题
输入与输出变量均为变量序列------标注问题

1.22联合概率分布

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B) （摘抄自360百科）

1.23假设空间

监督学习(supervised learning)的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间(hypothesis space)。假设空间的确定意味着学习范围的确定。