![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 85
S1406793
这个作者很懒,什么都没留下…
展开
-
Bagging的随机森林;Boosting的AdaBoost和GBDT
Gradient Boosting 是一种梯度下降模型,每一轮迭代都会训练一个新的基模型,然后将其加入到模型中,但是每个基模型的权重并不是固定的,而是根据残差的梯度来确定的。在每一轮迭代中,Gradient Boosting 会调整样本的权重,并使用残差来训练新的基模型,这样可以使得模型越来越关注于难以拟合的样本。在GBDT中,每一棵决策树都是在前一棵树的残差基础上进行训练。在每一轮迭代中,Adaboost 会调整样本权重,让分类错误的样本得到更高的权重,这样可以使得后续的基分类器更关注于难以分类的样本。原创 2024-02-03 15:13:41 · 947 阅读 · 0 评论 -
机器学习 笔记06——感知机模型原理
机器学习笔记——感知机模型原理以及python实现案例原创 2022-11-09 19:31:52 · 267 阅读 · 0 评论 -
机器学习 笔记06:最大熵模型
最大熵原理是概率模型学习的一个准则,最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型就是最好的模型,通常使用模型的约束条件来确定概率模型的集合,所以最大熵原理也可以表述为在满足约束条件的模型集合中选择上最大的模型。 这里,n个约束条件; 真实分布和经验分布为: 未知的只有条件分布 p(y|x),得到了待选模型集合 最大熵模型就是由公式(6.22)、公式(6.23)表示的条件概率分布。 想要估计逻辑回归中的条件概率分布,可以通过极大似然方法实现。那么原创 2022-11-09 18:26:46 · 832 阅读 · 0 评论 -
机器学习 笔记03——逻辑回归 + 分类问题评估指标:精确率、召回率、F1-score、AUC指标
solver可选参数:{'liblinear', 'sag', 'saga', 'newton-cg', 'lbfgs'}默认 'liblinear' :用于优化问题的算法。对于小数据集来说,'liblinear' 是个不错的选择。而'sag'和'saga'对于大数据集会更快。对于多分类问题,只有'newton-cg', 'sag' 和’lbfgs‘可以处理多项损失,'liblinear'仅限于'one-versus-rest'分类。penalty:正则化种类,默认L2正则化。原创 2022-11-06 19:33:48 · 4485 阅读 · 1 评论 -
机器学习笔记02——线性回归
1.使用不同的方法来调整系数的上限:L1正则项将系数设置为0来进行特征选择,以减少相关性较低的特征;L2正则项是对值比较大的系数进行惩罚但并不设置为0,并且还调整参数λ的值,确保系数不会受到严厉的惩罚,不至于欠拟合。L1正则化和L2正则化都是在目标函数的后面添加一个正则项用来防止过拟合,L1正则项是基于L1范数,添加一个参数的绝对值和参数的积项;3.稳定性:对于新数据的调整,L1变动很大,L2整体变动不大。随着维度(特征数量)的增加,分类器性能逐步上升,到达某点之后,其性能便逐渐下降。原创 2022-11-05 09:01:03 · 908 阅读 · 0 评论 -
机器学习 笔记05——特征工程之特征处理:字典特征提取、文本特征提取
1.3 字典特征提取(特征离散化) ⭐1.4 文本特征提取(英文+中文)⭐1.4.1英文数据演示1.4.2中文特征提取演示1.4.3jieba分词:中文特征提取1.4.4Tf-idf文本特征提取原创 2022-11-04 20:24:16 · 1717 阅读 · 0 评论 -
机器学习 笔记04 ---决策树(DT):理论+代码实现
1、概述编辑2、决策树模型3、决策树学习4、决策树的构建——三步骤4.1 特征选择4.1.1 熵(Entropy)4.1.2 条件熵(Conditional Entropy)H(Y|X)4.1.3 信息增益(Information Gain)4.1.4 信息增益比4.2决策树算法4.2.1 ID3算法4.2.2 C4.5算法4.2.3 Python实现ID3、C4.5算法4.3 决策树的剪枝引言4.3.1 算法目的4.3.2 算法原创 2022-10-31 21:05:06 · 2695 阅读 · 1 评论 -
01. 机器学习笔记01——K近邻算法 , CV_example
配套:机器学习西瓜书、李航博士《统计学习方法》、吴恩达视频原创 2022-10-16 17:54:21 · 720 阅读 · 1 评论