xxy_的博客

除了框出的部分，其他均为LASSO回归内容，此处不多介绍。LASSO回归的特点是在拟合广义线性模型的同时进行变量筛选和复杂度调整。 因此，不论目标因变量是连续的，还是二元或者多元离散的， 都可以用LASSO回归建模然后预测（摘自python机器学习库scikit-learn简明教程之：Lasso回归预测）。利用LASSO回归进行二分类任务的过程： 在训练的时候，仍然同回归任务一样，直接通过...

1. 最小二乘法：基于均方误差最小化来进行模型求解的方法求解过程参考：https://mp.csdn.net/postedit/798893352. 岭回归：在“最小二乘法”的基础上引入L2范数正则化3. LASSO：在“最小二乘法”的基础上引入L1范数正则化岭回归和LASSO求解过程参考：http://freemind.pluskid.org/machine-learning/sparsity-...

ref. 《机器学习》周志华 P53一、线性模型线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即线性模型形式简单，易于建模。w直观表达了各个属性在预测任务中的重要性，因此线性模型有很好的可解释性（comprehensibility）。二、（多元）线性回归1. 问题的提出给定数据集D如下:则（多元）线性回归试图学得，使得，其中=｛w1；w2；……；wd；b｝。为...

基于目前的经验，机器学习中的数据划分主要为两种：1. 当数据量较大时，可直接划分为train data、valid data、test data。其中，train data用于训练模型，valid data用于从训练得到的多个模型中选择一个最合适的模型，test data用于确定模型的最终效果。2. 当数据量较小时，可采用交叉验证，交叉验证的方法有很多，主要用的有5折交叉验证、10折交叉验证和留一...

今天发现自己在深度学习的路上又踩到了一个大坑。参考链接：https://blog.csdn.net/john_xyz/article/details/61211422交叉熵函数：tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)注意：这个操作的输入l...

1. 逻辑回归sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’,...

背景：    最近做实验的过程中发现，平均交叉熵损失（Average Cross Entropy，ACE）升高时，分类模型的准确率（Accuracy，ACC）也会出现升高的情况。起初认为这是反直觉的，还以为是自己程序里又bug。经查阅发现也有人遇到相同的问题，并且对这个现象给出了解释（详情见参考链接1）。    通过一下午的认真思考，尝试将ACC与ACE之间的关系进行整理。我理解不对的地方，或者有...

原文：https://blog.csdn.net/luanpeng825485697/article/details/79858186Multiclass classification 多类分类： 意味着一个分类任务需要对多于两个类的数据进行分类。比如，对一系列的橘子，苹果或者梨的图片进行分类。多类分类假设每一个样本有且仅有一个标签：一个水果可以被归类为苹果，也可以 是梨，但不能同时被归类为两类...