机器学习
文章平均质量分 93
Seven_0507
慎始善终
展开
-
关联规则算法总结
关联规则算法总结文章目录一、Apriori、FP Growth算法原理:1.1 Apriori算法原理1.2 FP Growth(Frequent Pattern Growth)算法原理二、Apriori、FP Growth算法的实现三、实际应用一、Apriori、FP Growth算法原理:频繁项集的评估标准有:1.1 Apriori算法原理频繁项集: 是支持值大于阈值(support)的项集。关联分析的目的:发现频繁项集:发现满足最小支持度的所有项集;发现关联规则:从频繁项集中提原创 2021-08-12 15:50:18 · 5965 阅读 · 0 评论 -
支持向量机详解之——系列3
上篇文章已经讲解超平面和间隔最大化,本次将继续讲解SVM的数学推理和核函数部分。首先,大概介绍一下SVM:SVM(support vector machines,支持向量机)是机器学习算法里面非常重要的一个二分类模型SVM的基本模型是定义在特征空间上的间隔最大化的线性分类器,间隔最大化使之有别于感知机SVM属于判别模型,可分为线性分类...原创 2019-06-21 14:41:50 · 670 阅读 · 0 评论 -
支持向量机详解之——系列2
SVM(support vector machines,支持向量机)是机器学习算法里面非常重要的一个二分类模型SVM的基本模型是定义在特征空间上的间隔最大化的线性分类器,间隔最大化使之有别于感知机SVM属于判别模型,可分为线性分类模型、非线性分类模型SVM学习策略: 间隔最大化,等价于正则化的合页损失函数最小化SVM算法: 求解一个凸二次规划最优化算法问题SVM的分类:线性可分支持...原创 2019-06-18 19:27:49 · 662 阅读 · 0 评论 -
SVM算法问题汇总
文章目录1. svm为什么要引入拉格朗日的优化方法?1. svm为什么要引入拉格朗日的优化方法?原创 2019-08-05 11:54:41 · 1266 阅读 · 0 评论 -
逻辑回归问题汇总
文章目录1. Logistic回归与线性回归的区别与联系?2. Logistic回归有哪些基本假设?3. Logistic回归的损失函数?4. Logistic回归损失函数的求解方法?5. Logistic回归是如何进行分类的?6. Logistic回归为什么要用极大似然函数作为损失函数?7. 为什么在Logistic回归训练的过程中要将高度相关的特征去掉?8. Logistic回归有哪些优缺点?...原创 2019-08-05 11:54:59 · 6869 阅读 · 0 评论 -
集成学习问题汇总
文章目录1. 集成学习的结合策略有哪些?2. Bagging和Boosting两者之间的区别3. AdaBoost和GBDT的区别1. 集成学习的结合策略有哪些?(1)平均法: 用于数值类的回归预测问题算术平均:H(x)=1T∑1Thi(x)H(x) = \frac {1} {T} \sum\limits_{1}^{T}h_i(x)H(x)=T11∑Thi(x)如果每个个体学习器有...原创 2019-08-20 10:04:57 · 1531 阅读 · 0 评论 -
决策树问题汇总
文章目录1. 决策树如何剪枝?ID3、C4.5和CART三种决策树的区别?1. 决策树如何剪枝?(1)前剪枝( Pre-Pruning)前剪枝原则有:a.节点达到完全纯度;b.树的深度达到用户所要的深度;c.节点中样本个数少于用户指定个数;d.不纯度指标下降的最大幅度小于用户指定的幅度。(2) 后剪枝( Post-Pruning)首先构造完整的决策树,允许决策树过度拟...原创 2019-08-20 10:14:57 · 6074 阅读 · 0 评论 -
机器学习基础问题汇总
数据预处理特征选择的方法;模型评估方法过拟合的解决方法;如何用尽可能少的样本训练模型同时又保证模型的性能;优化算法:梯度下降的优缺点;L1与L2的区别以及如何解决L1求导困难;算法原理几种模型(svm,lr,gbdt,em)的原理以及公式推导;rf与gbdt的区别?gbdt与xgboost的区别?决策树处理连续值的方法?kmeans的原理,优缺点以及改进;常...原创 2019-08-20 10:16:23 · 1548 阅读 · 1 评论 -
特征工程全集
本次主要介绍特征选择、特征表达、特征预处理,这些统称为特征工程。特征工程是数据分析中最耗时间和精力的一部分工作,主要靠业务上的经验和权衡并没有统一的方法,这里只是对一些常用的方法做一个思维导图总结。...原创 2019-06-27 11:36:44 · 257 阅读 · 0 评论 -
一个完整的机器学习项目
本次主要总结概括机器学习的分类和建立一个完整机器学习项目需要做的步骤。原创 2019-05-16 18:46:45 · 412 阅读 · 0 评论 -
【朴素贝叶斯】Part1——朴素贝叶斯基本原理
1. 概率论基本知识回顾(1)条件概率:设A,B是两个事件,且P(A)>0,称 P(B∣A)=P(AB)P(A)P(B|A) = \frac {P(AB)}{P(A)}P(B∣A)=P(A)P(AB) 为在事件A发生的条件下事件B发生的概率。(2)乘法定理:设P(A)>0,称 P(AB)=P(B∣A)P(A)P(AB) = {P原创 2019-02-22 14:48:06 · 944 阅读 · 0 评论 -
【感知机】—— 感知机算法原理及Python实现
文章目录感知机(Perceptron)感知机的原始形式感知机的对偶形式Perceptron算法实现scikit-learn实现Perceptron感知机(Perceptron)二分类模型、线性分类模型、判别模型输入:为实例的特征向量输出:实例的类别,取+1和-1感知机的原始形式模型:寻找能够将训练数据进行线性划分的分离超平面感知机模型: f(x)=sign(w∗x...原创 2019-02-27 18:00:46 · 1711 阅读 · 0 评论 -
【决策树】—— Python实现ID3/C4.5算法
1. 创建数据集2. 计算信息熵3. 计算信息增益/信息增益比4. 选择最好的特征划分数据集5. 构建决策树原创 2019-02-20 16:51:59 · 811 阅读 · 0 评论 -
【逻辑回归】—— Logistic回归原理小结
逻辑回归:Logistic Regression(LR)逻辑回归是一个经典的分类算法,并不是一个回归算法,它可以处理二元分类以及多元分类,个人认为由于逻辑回归的原理是由回归模型的演变而来的,因此含有“回归”二字,而逻辑回归与线性回归同属于广义线性模型种的一类。广义线性模型分类:根据因变量不同,常分为以下几类:因变量是连续的:多元线性回归因变量是二项分布:Logistic回归因变量是P...原创 2019-03-16 18:13:47 · 2717 阅读 · 1 评论 -
【朴素贝叶斯】Part2——Python实现朴素贝叶斯算法
输入数据原创 2019-03-12 14:21:36 · 372 阅读 · 0 评论 -
【集成学习】—— 之概述
文章目录1. 集成学习(Ensemble Learning)2. Boosting3. Bagging4. 个体学习器结合策略4.1 平均法4.2 投票法4.3 学习法1. 集成学习(Ensemble Learning) 集成学习本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务,即:对于训练集数据,通过训练若干...原创 2019-03-17 13:00:05 · 230 阅读 · 0 评论 -
【集成学习】—— AdaBoost
sfadfs原创 2019-04-08 11:16:28 · 372 阅读 · 0 评论 -
支持向量机详解之——系列1
SVM(support vector machines,支持向量机)是机器学习算法里面非常重要的一个二分类模型。一、预备知识:深入理解超平面通俗理解就是要在两类样本点之间找一条直线(超平面)来将两类样本点分开,存在多条划分直线(超平面),那么如何求得这些直线(超平面),并且选出使划分效果最好的,如何做呢?如上图,这两类样本之间存在多条直线可以划分,对于此问题,只需要找到两个类中离得最近的样...原创 2019-06-17 23:36:30 · 450 阅读 · 0 评论 -
【决策树】—— Sklearn玩转决策树及可视化
Sklearn决策树算法库包含:(1)分类决策树DecisionTreeClassifier(2)回归决策树DecisionTreeRegressor1. DecisionTreeClassifier() 示例2. 分类决策树与回归决策树参数说明...原创 2019-01-24 17:36:12 · 1758 阅读 · 0 评论