大胃德的算法小屋

文章目录1、首先是模型2、接下来设定目标函数=损失函数+正则项。3、如何得到树树怎么转换成权重 1、首先是模型 基学习器为树模型、采用boosting集成方法 2、接下来设定目标函数=损失函数+正则项。 2.1 不限定损失函数的具体形式，只要其二阶可导。这样我们不需要为每一个具体的损失函数单独推导一个模型，而是得到一个通用的模型 2.2 再看正则项 用这个来控制树的复杂度。 后一项是L2，是...

前言 我们知道，线性回归的公式是 hθ(x)=θTx h_{\theta}(x)={\theta}^Tx hθ​(x)=θTx 如果想实现分类功能，就需要把输出变成一个阶跃函数，比如 y={0;z⩽01;z⩾0,z=hθ(x) y=\left\{\begin{matrix} 0; & z\leqslant 0 \\ 1; & z \geqslant 0 \end{matrix}\...

文章目录问题1：LR和线性回归，有何异同问题2：为什么要用Sigmoid问题3：为什么叫对数几率函数问题4：为什么LR用最大似然而不是最小二乘作为损失函数问题5：逻辑回归在训练的过程当中，如果有很多的特征高度相关或者说有一个特征重复了100遍，会造成怎样的影响？问题6：LR的缺点问题7：LR和神经网络的关系 问题1：LR和线性回归，有何异同 1、LR是分类问题，线性回归是回归问题，这是最本质的区别...

转自https://www.jiqizhixin.com/articles/2018-02-05-2 分类测试问题 将看三个分类问题：blobs、moons 和 circles。 线性分类 make_blobs() 函数可被用于生成具有高斯分布的 blobs 点。你可以控制生成 blobs 的数量，生成样本的数量以及一系列其他属性。考虑到 blobs 的线性可分性质，该问题也适用于线性分类...

转自：https://www.kaggle.com/georsara1/light-gbm-solution-for-credit-fraud-detection kaggle上一篇不错的代码，最后有生成混淆矩阵图 #Import modules import numpy as np import pandas as pd import seaborn as sns import matplo...