机器学习算法
ukuu
这个作者很懒,什么都没留下…
展开
-
Logistic Regression——逻辑回归算法推导
前言之前学过用线性回归解决分类问题, 使用如下的阶跃函数,实现分类功能,但是这样的分类很明显太过粗糙了 令z = 我们希望有一个理想的阶跃函数来帮我们实现z值到0/1值的转化。 而且是单调可微的凸函数->sigmoid function定义 输出Y=1的对数几率是由输入x的线性函数表示的模型,这就是 逻辑回归模型。是一种广义的线性模型。所以...原创 2018-08-16 21:21:50 · 4172 阅读 · 3 评论 -
极大似然估计
前言1. 概率与似然? 结果相同,只是视角不同。概率是给定某一参数值,求某一结果的可能性。例如,抛一枚匀质硬币,抛10次,6次正面向上的可能性多大?解读:“匀质硬币”,硬币的密度参数是0.5,“抛10次,六次正面向上”这是一个结果,概率(probability)是求这一结果的可能性。似然是给定某一结果,求某一参数值的可能性。同理,极大似然估计就是给定一个结果,求使得结果发生...原创 2018-08-16 20:30:47 · 3401 阅读 · 0 评论 -
关于向量的模和向量的范数的理解
向量的模 含义向量 的长度叫做向量的模,记作 ,也就是向量 的大小计算公式对于向量 属于n维复向量空间=(x1,x2,…,xn)的模为 = 向量的范数 范数,在机器学习中通常用于衡量一个向量的大小,形式上, 范数的定义如下: ...原创 2018-08-15 10:15:08 · 30471 阅读 · 0 评论 -
XGBoost算法推导及参数配置
1.XGB的直观理解 XGB就是一堆CART树的结果的加和xgb就是将每棵树的预测值加到一起作为最终的预测值模型表示 K为树的个数 F为所有可能的CART树 f为一颗具体的CART树 目标函数 问题来了,一棵树的正则化项是怎们表示的?先想想,后面有详解 改进:不再是直接优化整个目标函数,而是分步骤优化目标函数 首先优化第一棵树,完了之后再优...原创 2018-08-16 22:10:20 · 791 阅读 · 0 评论 -
从查准率、查全率到ROC、AUC (含Python实现)
目录前言:先看一个经典的例子:1 查准率与查全率2 F1_score3 ROC及代码实现4 AUC 及代码实现4.1 AUC简介4.2 AUC的几何意义和概率意义4.3 AUC判断分类器(预测模型)优劣的标准:4.4 AUC的计算方法:前言:先看一个经典的例子:目的:设计一个分类器类分类患者的肿瘤是不是良性的数据集:我们有10000个样本,其中9...原创 2018-08-19 19:42:02 · 5011 阅读 · 0 评论