奥利给

@小辣鸡学深度学习第一天

学习的一天希望可以坚持下去

奥利给

回归算法

常见的回归算法L:最小二乘法，逻辑回归，逐步式回归

正则化方法

正则化方法是对回归方法的延伸，根据算法的复杂程度对算法进行调整。
常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）。

决策树

决策树算法根据数据的属性采用树状结构简历决策模型，通常用来解决回归和分类问题。
常见算法：分类及回归树（CART）、ID3、CHAID、随机森林、多元自适应回归样条（MARS）、梯度推进机（GBM）。

基于实例的算法

KNN：在模式识别领域中，最近邻居法（KNN算法，又译K-近邻算法）是一种用于分类和回归的非参数统计方法[1]。在这两种情况下，输入包含特征空间（Feature Space）中的k个最接近的训练样本。
学习矢量量化（LVQ）
自组织映射算法（SQM）

**赢家通吃算法：在理论人工神经网络，赢家通吃网络是的情况下，竞争学习的递归神经网络。网络中的输出节点相互抑制，同时通过自反连接激活自身。一段时间后，输出层中只有一个节点处于活动状态，即对应于最强输入的那个节点。因此，网络使用非线性抑制来挑选一组输入中的最大输入。赢家通吃是一种通用的计算原语，可以使用不同类型的神经网络模型来实现，包括连续时间网络和峰值网络（Grossberg，1973； Oster等，2009）。
赢家通吃网络通常用于大脑的计算模型，尤其是用于大脑皮层中的分布式决策或动作选择。重要的例子包括视觉的分层模型（Riesenhuber等，1999）以及选择性注意和识别的模型（Carpenter和Grossberg，1987； Itti等，1998）。它们在人工神经网络和神经形态模拟VLSI电路中也很常见。正式证明，与其他非线性运算（例如阈值）相比，赢家通吃运算具有强大的计算能力（Maass 2000）。

在许多实际情况下，不仅有单个神经元成为唯一活动的神经元，而且确切地有k个神经元在固定数目k时变为活动状态。此原则称为“ k-winners-take-all”。

贝叶斯算法

贝叶斯算法是基于贝叶斯定理的一类算法，主要用于解决分类和回归问题。
常见算法：

朴素贝叶斯算法

直接给出贝叶斯定理
第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。
BBN：

聚类算法

聚类算法通常按照中心节点或者分层的方式对输入数据进行归并。所以聚类算法都试图找到数据的内在结构，以便按照最大的公共点将数据进行归类。
常见算法：K-mains算法， 期望最大化算法。
K-Mains：