wyfiveron的博客

Logistic Regressionhint:线性模型LR(没有考虑特征间的关联)——>LR +多项式模型（特征组合，不适用于特征稀疏场景，泛化能力弱）——>FM（适用于稀疏特征场景*，泛化能力强）——>FFM【省去零值特征，提高FFM模型训练和预测的速度，这也是稀疏样本采用FFM的显著优势】提到LR，需要先从线性回归模型进行讲解1.线性回归模型定义：给定数据集D={(x1, y1), (x2, y2), … }，我们试图从此数据集中学习得到一个线性模型，这个模型尽可能准确地反

记录决策树模型基础知识与发展决策树基础概念决策树是一种基本的分类和回归方法。决策树的学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。信息增益在信息论和概率统计中，熵(entropy)是对随机变量不确定性\textbf{随机变量不确定性}随机变量不确定性的度量X是一个取有限个值的离散随机变量，P(X=xiX=x_{i}X=xi​)=pip_{i}pi​,i=1,2…,n.随机变量的熵定义为：H(X)=−∑i=1npilogpi-\sum_{i=1}^{n}p_{i}log p_{i}−

本文用于记录Lightgbm的使用，使用包含两种，原生lightgbm与以scikit learn的接口方式来使用lightgbm1.原生方式lightgbm.train(params, train_set, num_boost_round=100, valid_sets=None, valid_names=None, fobj=None, feval=None, init_model=None, feature_name=’auto’, categorical_feature=’auto’, earl

文章目录1.Adaboost算法简介2.原理推导3.算法实现1.Adaboost算法简介\hspace*{0.6cm}AdaBoost，英文全称为"Adaptive Boosting"（自适应增强），是一种机器学习方法，AdaBoost方法的自适应在于：AdaBoost方法对于噪声数据和异常数据很敏感。AdaBoost方法中使用的分类器可能很弱（比如出现很大错误率），但只要它的分类效果比随机好...

文章目录1.LDA原理1.1 概念1.2 公式推导2.LDA实现参考资料1.LDA原理1.1 概念LDA全称为Linear Discriminant Analysis，中文为线性判别分析。与PCA的作用相同，LDA的作用是降维，但是区别是PCA是无监督降维，而LDA是有监督的降维，LDA可以利用训练数据的类别标签。PCA只需要将数据映射到方差最大的空间，LDA需要将类别相同的数据尽可能靠近，...

１．PCA原理1.1概念PCA英文全名为Principal components analysis，主成分分析。PCA的作用是降维，利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分。PCA是无监督的降维方法，主要思想是将数据映射到维度更低的空间，这样可以减少对这些数据进行计算的计算量，同时进行PCA操作后也要保证数据易于进...

数据：x_data=[338,333,328,207,226,25,179,60,208,606]y_data=[640,633,619,393,428,27,193,66,226,1591]import matplotlib.pyplot as pltimport numpy as npx_data=[338,333,328,207,226,25,179,60,208,606]y_...