机器学习总结–一篇文章了解机器学习的主要要点和基础
L1和L2正则化项
对于L1正则项来说,因为L1正则项是一组菱形,这些交点容易易落在坐标轴上。因此,另⼀一个参数的值在这个交点上就是0,从⽽而实现了稀疏化。
对于 L2 正则项来说,因为 L2 正则项的等值线是一组圆形。所以,这些交点可能落在整个平 ⾯面的任意位置。所以它不不能实现「稀疏化」。但是,另⼀方面,由于 (w1, w2) 落在圆上,所以它们的值会比较接近。这就是为什么 L2 正则项可以使得参数在零附近稠密⽽而平滑。
另外,从贝叶斯的⻆角度来看,正则化等价于对模型参数引入先验分布。
1.聚类
聚类是非监督学习的代表。当训练样本的标记信息是未知的时候,我们通常需要通过学习来解释数据内在的性质和规律,此时一般要用到聚类,聚类一般是将样本划分为不相交的子集,每个子集对应相应的概念或者属性,但是需要注意的是,这对于聚类算法是未知的,聚类算法仅仅是自动形成簇结构,簇对应的含义由使用者本人来定义和把握。
经典的聚类算法:K-Means算法是基于划分的聚类算法 DBSCAN算法是基于密度的聚类算法 密度最大值聚类是基于密度的聚类
2.深度学习
狭义的来说就是很多层的神经网络。我们可以从另一个角度来理解深度学习 . 无论是 DBN 还是 CNN, 其多隐层堆叠、 每层对上一层的输出进行处理的机制,可看作是在对输入信号进行 逐层加工,从而把初始的、与输出目标之间联系不太密切的输入表示转化成与输出目标联系更密切的表示,使得原来仅基于最后一层输出映射难以完 成的任务成为可能换言之,通过多层处理