机器学习 学习笔记(二)

1.逻辑回归 :是一种分类模型，并常用于二分类

分别用0或1 代表正与负

决策边界: 分为线性决策边界和非线性决策边界 . 边界范围内为0 范围外为1

逻辑回归代价函数:

正则化  通过使用参数λ

线性回归的正则化方法

逻辑回归的正则化方法

2.神经网络中的网络层:   其中 ,layer第i 层的输出表示为  ,sigmoid函数:  g()=

OVR和OVO  对于新的输入 选择分类最多的类

2.神经网格

更复杂的神经网络:   每一层的输出 =sigmoid(目前层的 点乘 前一层+目前层的)

神经网络向前传播 :把每一层的输出作为下一层的输入,一层一层的传播下去。

二元交叉熵损失函数 :

线性激活函数 ReLU:  g(z)=max(0，z)    sigmoid函数 和ReLU函数图像区别

3. 多标签分类:分类任务中有多个类别  输入x 输出y可能有多个值  x相同时 可以分为多个类

 softmax: a1+a2+....+an=1   loss=-log(ai)  if y=i

4. 评价分类结果

混淆矩阵:

其中, TP:真阳  FP:假阳  TN:真阴  FN:假阴   精准率P: TP/TP+FP  召回率R: TP/TP+FN

 准确率:(TP+FP)/(TP+FP+TN+FN)          F1 score ()调和平均值): 2*P*R/(P+R)

5.支撑向量机 SVM

【机器学习】支持向量机 SVM（非常详细） - 知乎

即求解能够正确划分训练数据集并且几何间隔最大的分离超平面 ,将二分类间隔最大,最大化margin

优化后的SVM求解:  Sfot Margin SVM

核函数:   Xi与Yi在特征空间的内积等于它们在原始样本空间中通过函数计算的结果

高斯核=RBF核 m<n

6.决策树: 将一组样本的结果按树状进行分类 (以 猫的分类 为例子) 

决策树的分类问题  1.每个结点使用什么特性区分 2.什么时候停止拆分

a.当一个节点是100%一个类时  b.拆分节点将导致树超过最大深度时

c.当纯度分数的提高低于阈值时   d.当节点中的示例数低于阈值时

熵函数

基尼系数: 

基尼系数和信息熵 在本质上是一样的

CART:分类与回归树(Classification and Regression Tree, CART)

  运用分类的思想 将样本的特征分为左右两部分 即满足条件和不满足 两种情况

信息增益: 根节点的熵-左右结点的熵

独热编码 one-hot :独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。

7.集成学习和随机森林

随机森林:

假设训练集 T 的大小为 N ,特征数目为 M ,随机森林的大小为 K,随机森林算法的具体步骤如下：

    遍历随机森林的大小 K 次：
    从训练集 T 中有放回抽样的方式，取样N 次形成一个新子训练集 D
    随机选择 m 个特征，其中 m < M
    使用新的训练集 D 和 m 个特征，学习出一个完整的决策树 得到随机森林

上面算法中 m 的选择：对于分类问题，可以在每次划分时使用 个特征
机器学习算法系列（十八）-随机森林算法（Random Forest Algorithm）_Saisimonzs的博客-CSDN博客

XGBoost(eXtreme Gradient Boosting)

集成学习的几类: Bagging，Boosting以及Stacking。

Bagging:bootstrap aggregating 是一种有放回的抽样算法. 随机森林就属于Bagging

Boosting(提升方法 ): 其中,最重要的是AdaBoost（Adaptive boosting）算法：刚开始训练时每一个训练权重相等，然后对训练集训练n轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在每次学习以后更注意学错的样本，从而得到多个预测函数.

Stacking: 即训练一个模型用于组合其他各个模型 训练多个模型,将每个模型的输出作为输入来训练一个模型.