机器学习
文章平均质量分 60
孙悟充
这个作者很懒,什么都没留下…
展开
-
【机器学习笔记】——逻辑回归 & 交叉熵
1.逻辑回归模型1.1 逻辑回归模型 我们将因变量(dependant variable)可能属于的两个类分别称为负向类(negative class)和 正向类(positive class),因变量Y∈{0, +1}Y \in \{0, \ +1\}Y∈{0, +1},其中0表示负向类,1表示正向类。 为了使模型的输出在0和1之间,需要引进一个新的模型,即逻辑回归模型...原创 2019-05-07 21:08:32 · 1886 阅读 · 3 评论 -
【机器学习笔记】——Bagging、Boosting、Stacking(RF / Adaboost / Boosting Tree / GBM / GBDT / XGBoost / LightGBM)
目 录1 集成学习1.1 概念1.2 思维导图2 Bagging算法2.1 概念2.2 编程(分类)2.3 随机森林2.3.1 扩展2.3.1.1 Extremely randomized Tree...原创 2019-05-17 16:49:08 · 1328 阅读 · 0 评论 -
【机器学习笔记】——k近邻(k-nearest neighbor,k-NN)
目 录1 k-NN1.1 基本思路1.1.1 距离度量1.1.2 k值的选择1.1.3 决策1.2 基于kd树的k-NN算法1.2.1 构造kd树1.2.2 搜索kd树(基于kd树的k-NN算法)1.2.2.1 基于kd树的最近邻算法1.2.2.2 基于kd树的k-NN算法1.3 k-NN的优缺点1.3.1 优点1.3.2 缺点2 算法实现2.1 原始形式1——自定义二维特征分类数据2.2 原...原创 2019-06-26 21:20:12 · 1391 阅读 · 0 评论 -
【机器学习笔记】——决策树(Decision Tree)
决策树 决策树(decision tree)是一种基本的分类与回归方法,其主要优点是模型具有可读性,分类速度快。学习时利用损失函数(正则化的极大似然函数)最小化的原则建立决策树模型。预测时,对新的数据,利用决策树模型进行分类。根据一组训练数据学习的决策树不是唯一的,与训练数据不相矛盾的(能对训练数据进行正确分类)决策树可能有多个,也可能一个也没有。我们需要的是一个与训练数据矛盾较小(训练误差...原创 2019-07-02 18:04:51 · 827 阅读 · 0 评论 -
【机器学习笔记】——感知机(Perceptron)
目 录1 感知机(Perceptron)1.1 定义1.2 几何解释1.3 学习策略1.4 算法1.4.1 原始形式1.4.2 对偶形式2 算法实现2.1 实现原始形式算法2.2 实现对偶形式算法2.3 sklearn练习——自定义数据二分类2.4 对比练习——鸢尾花数据分类鸢2.4.1 尾花数据集2.4.2 数据预处理与特征选择2.4.3 对比手写模型与sklearn效果2.4.3.1 准备...原创 2019-06-24 21:19:14 · 23791 阅读 · 2 评论 -
【机器学习笔记】——朴素贝叶斯法(Naive Bayes)
目 录1 朴素贝叶斯法1.1 学习过程1.1.1 如何理解将后验概率最大的类作为 $x$ 的输出1.1.2 怎么求两个概率1.1.2.1 极大似然估计1.1.2.2 贝叶斯估计1.2 算法的优缺点1.2.1 优点1.2.2 缺点1.3 拓展1.3.1 多项分布朴素贝叶斯1.3.1.1 补充朴素贝叶斯1.3.2 高斯朴素贝叶斯1.3.3 伯努利朴素贝叶斯2 算法实现2.1 基于贝叶斯估计的pyt...原创 2019-06-28 19:19:52 · 1010 阅读 · 0 评论 -
【机器学习笔记】——支持向量机(SVM)
目 录1 支持向量机1.1 线性可分支持向量机1.1.1 函数间隔和几何间隔1.1.2 求解最大间隔分离超平面1.1.2.1 伪代码1.1.3 支持向量和间隔边界1.1.4 对偶算法1.1.4.1 伪代码1.1.5 实例1.2 线性支持向量机1.2.1 软间隔最大化1.2.2 对偶算法1.2.2.1 伪代码1.2.3 *软间隔的支持向量1.3 非线性支持向量机与核函数1.3.1 核技巧1.3....原创 2019-07-16 14:11:17 · 1592 阅读 · 0 评论 -
【机器学习笔记】——模型评价准则(Evaluation metrics)
目 录1 模型选择2 回归任务2.1 MSE(Mean Square Error)均方误差2.2 RMSE(Root Mean Square Error)均方根误差2.3 RMSLE(Root Mean Square Log Error)均方根对数误差2.4 MAE(Mean Absolute Error)平均绝对误差2.5 $R^2$(R Squared)R方2.5.1 R方小于0?R方大于...原创 2019-08-01 12:54:48 · 4083 阅读 · 0 评论