1.12月机器学习笔记——关于机器学习的一些基础知识（1）

——写在前面，该笔记主要是参考了七月算法（julyedu.com）12月机器学习在线班的资料。
1. 关于机器学习：
机器学习的定义有许多，简单的来讲机器学习是指设计的模型Model针对一个任务Task，随着经验Experience的增加，其性能Performance会提高。
1.1任务——要通过机器学习解决的问题
机器学习可以解决的问题可以主要分为这么几种：
a.聚类问题，聚类在我的理解看来实际上是一种降维，而降维的方法又对应着线性方法与非线性方法，其中线性方法如主成分分析是采取的线性变换的方法，通过方差贡献度，以原来相关的特征来线性组合出新的不相关的特征来描述个体，比如一组数据有6个特征，我们在描述这组数据时，可以采取6维的坐标系，但是这6个维度并不是彼此独立的，这意味着存在着信息的冗余，因此我们需要降低维度，首先可以对所有数据点的坐标取均值，然后每个点的坐标减去均值，这称为去中心化，目的是将坐标原点移动到样本点的中心点，接下来，对坐标轴进行旋转变换，使数据集尽可能多的方差显著的方向与坐标轴对齐，方差变化较小的方向通过线性变换用其他向量表示，通过这种方式来达到降维的作用。（具体的PCA原理可以看：http://blog.csdn.net/jwh_bupt/article/details/8935219；
http://blog.csdn.net/zhongkelee/article/details/44064401）
关于聚类的非线性方法如K-近邻法，这种方法主要依据的就是距离，距离用的较多的包括有欧式距离、余弦相似度等。聚类属于无监督学习。
b.分类问题，分类问题可以划分为二元分类与多元分类。常用的方法如朴素贝叶斯、SVM等等。
c.回归问题，回归问题是属于定量的来预测给定一个输入的输出结果。常用的方法如：时间序列回归、最小二乘法回归等等。
2.微积分基础
1.极限及极限的存在定理。
主要是夹逼定理，以及单调有界数列必有极限。
2.导数与微分
主要涉及的就是：导数的定义，梯度，方向导数的定义与几何含义
3.凸函数
凸函数的定义：

3.概率论
1. 概率分布函数与概率密度的定义
2. 几种概率类型：几何、古典、二项、泊松、正态。
3. 贝叶斯公式：这里主要理解几个概念，先验、后验、似然。
4. 频率派与贝叶斯派的区别：频率派主要是认为模型的参数是固定的，通过某种准则来拟合，而贝叶斯派则认为模型的参数是可以通过先验与后验的迭代来改变的。
5. 泰勒展式与泊松分布的关系：

6. 总结：