机器学习
马苏比拉米G
这个作者很懒,什么都没留下…
展开
-
Annoy算法
快速计算距离Annoy算法原理及Python使用海量数据相似查找系列2 – Annoy算法转载 2020-08-20 19:34:36 · 1110 阅读 · 0 评论 -
【机器学习】boosting集成学习Adaboost
一、什么是AdaboostAdaBoost,是英文"Adaptive Boosting"(自适应增强)的缩写,由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于:前一个基本分类器分错的样本会得到加强,加权后的全体样本再次被用来训练下一个基本分类器。同时,在每一轮中加入一个新的弱分类器,直到达到某个预定的足够小的错误率或达到预先指定的 最大迭代次数。...原创 2019-11-10 17:53:00 · 201 阅读 · 0 评论 -
【机器学习】boosting集成学习GBDT
一、什么是集成学习:1、集成学习的含义集成学习:指构建多个分类器(弱分类器)对数据集进行预测,然后用某种策略将多个分类器预测的结果集成起来,作为最终预测结果。它要求每个弱分类器具备一定的“准确性”,分类器之间具备“差异性”。2、集成学习的种类集成学习根据各个弱分类器之间有无依赖关系,分为Boosting和Bagging两大流派:(1)Boosting流派,各分类器之间有依赖关系,必须串行...原创 2019-11-10 16:06:13 · 217 阅读 · 0 评论 -
【机器学习】判别式模型与生成式模型
一、判别式模型与生成式模型简介1、判别模型(Discriminative Model)是直接对条件概率P(Y∣X;θ)\displaystyle P( Y|X;\theta )P(Y∣X;θ)建模。判别式方法关心的是给定输入XXX,应该预测什么样的输出YYY。2、生成模型(Generative Model)是对X和Y的联合概率分布P(X,Y)建模,然后通过贝叶斯公式求得P(yi∣x)\di...原创 2019-10-20 09:37:30 · 982 阅读 · 0 评论 -
【机器学习】贝叶斯十大知识点讲解
一、贝叶斯方法1、含义P(A∣B) = P(A,B)P(A)=P(B∣A)P(A)\displaystyle P( A|B) \ =\ \frac{P( A,B)}{P( A)} =\frac{P( B|A)}{P( A)}P(A∣B) = P(A)P(A,B)=P(A)P(B∣A)其中P(A)P(A)P(A)是先验概率,P(B∣A)P( B|A)...原创 2019-09-18 23:44:02 · 594 阅读 · 0 评论 -
【机器学习】SVM
本文主要基于最大间隔的假设,用简单的数学推出SVM本质的过程。着重点在SVM模型的设计思路上(模型角度),不对凸优化进行研究(数学算法角度)。Key Idea 1:...原创 2019-09-08 19:54:35 · 172 阅读 · 0 评论 -
【机器学习】特征工程——特征筛选
1原创 2019-09-01 18:59:30 · 3282 阅读 · 0 评论 -
【机器学习】特征工程——数据与特征处理
1、特征处理(1)类别型(2)数值型幅度缩放/归一化:Log\e等非线性变化统计值max,min,mean,std离散化:等频、等比分箱#等距切分:等步长分成N箱。如样本取值1-100,则分为[1,10)、[10,20)....[90,100)df_train['fare_cut'] = pd.cut(df_train['Fare'], 10)# 等频切分:按照数据分布进行...原创 2019-08-31 22:46:04 · 342 阅读 · 0 评论 -
【机器学习】CART分类树、回归树算法
一、定义CART(Classification and Regression Tree)即分类回归树算法。其决策树的生成就是递归的构建二叉决策树的过程。每次划分都把当前样本集划分为两个子样本集。对回归树用平方误差最小化准则,对分类树用基尼指数最小化准则,进行特征选择,生成二叉树。二、分裂次数假设某属性存在q个可取值,那么该属性作为分支属性时,生成两个分支的分裂方法共有(2q−1)−1(2q-...原创 2019-08-28 23:37:29 · 1527 阅读 · 0 评论 -
【机器学习】决策树
1、熵含义:衡量一个事物的纯度。纯度越纯,熵越低。熵的取值(0,1),当事情发生概率为0.5时,不确定性最大,纯度最低,熵最高。公式:H(S) = -P(是)logP(是)-P(否)logP(否)entropy(D) = −∑i=1nPilog2Pi\displaystyle entropy( D) \ =\ -\sum ^{n}_{i=1} P_{i} log_{2} ...原创 2019-08-25 23:49:03 · 165 阅读 · 0 评论 -
【机器学习】逻辑回归
一、逻辑回归1、含义2、sigmoid函数3、公式4、损失函数5、梯度下降6、二分类与多分类问题二、案例代码原创 2019-08-24 16:03:55 · 193 阅读 · 0 评论