kevin_123c的博客

机器学习里面，梯度下降法可以说是随处可见，虽然它不是什么高大上的机器学习算法，但是它却是用来解决机器学习算法的良药。我们经常会用到梯度下降法来对机器学习算法进行训练。   在很多介绍梯度下降的书籍里，我们看到这样的几个英文单词缩写，BGD，SGD，MBGD。也就是批量梯度下降法BGD，随机梯度下降法SGD，小批量梯度下降法MBGD。   哦儿啦，举例说明，一般一个线性回归函数的假设函数可以

看见这么一个图了吗？这就是决策树，很形象很生动很具体，所以决策树是什么？决策树是一类常见的机器学习方法，反正我理解就是yes no的判断嘛。 决策树是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到

logistic回归和softmax回归放在一起总结一下，其实softmax就是logistic的推广，logistic一般用于二分类，而softmax是多分类。       logistic回归虽然也是叫回归，其实本身是用来分类的，logistic可以被看成是一种概率的估计，类似于线性回归的归一化，将输出值映射为（0,1），输入值大于0.5被分为1类，小于0.5被分为0类。

knn这个分类器，原理很简单，可以说是机器学习里面最简单的一个分类器。  工作原理：存在一个训练样本集，这些样本集都是有标签，也就是我们知道样本集中每个数据与其类别的对应关系。输入没有标签的新数据后，将新数据与样本集的数据特征进行比较，然后按照特定算法提取样本集中最相似的数据分类标签。举个例子：     电影名称           打斗镜头                    接吻镜头

机器学习的一些概念就不详细介绍了，大致就是分类，聚类，回归这些！不管是哪种，总之都是需要根据数据，训练出一个模型，其实机器学习的思想就是最优化，优化出一个好的模型。当然还有监督学习，无监督学习这些概念，通俗点说，分类就是给你一组数据，一组有标签的数据，举个例子就是我现在有10个数据，这个10个数据是关于三种花的，菊花，玫瑰花，月季花！我首先给出属性，颜色，大小，有无刺，花香，然后给出标签（这个标签

1.增加更多的数据，越多的数据，模型越好，准确度越高          2.处理好缺失值和异常值          3.特征工程          4.特征选择          5.多种算法组合          6.算法的改进（调参）          7.集成算法（bagging，boosting          8.交叉验证（cross validation)

在此之前，我们已经学习了前馈网络的两种结构——多层感知器和卷积神经网络，这两种结构有一个特点，就是假设输入是一个独立的没有上下文联系的单位，比如输入是一张图片，网络识别是狗还是猫。但是对于一些有明显的上下文特征的序列化输入，比如预测视频中下一帧的播放内容，那么很明显这样的输出必须依赖以前的输入， 也就是说网络必须拥有一定的”记忆能力”。为了赋予网络这样的记忆力，一种特殊结构的神经网络——递归神