![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 84
机器学习的理论与代码
回想sy
认清现实,不放弃幻想
展开
-
分类编码方式
关于线性回归的可解释性的编码方式原创 2023-01-08 00:40:15 · 216 阅读 · 1 评论 -
机器学习常见问题
机器学习一些常见问题特征工程是什么?特征工程(Feature Engineering)特征工程是将原始数据转化成更好的表达问题本质的特征的过程,使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。特征工程简单讲就是发现对因变量y有明显影响作用的特征,通常称自变量x为特征,特征工程的目的是发现重要特征。如何能够分解和聚合原始数据,以更好的表达问题的本质?这是做特征工程的目的。特征工程是数据挖掘模型开发中最耗时、最重要的一步。深度了解特征工程 - 知乎 (zhihu.com)类别原创 2022-04-08 11:42:18 · 1088 阅读 · 0 评论 -
详解 CatBoost 原理
详解 CatBoost 原理集成学习的两大准则:基学习器的准确性和多样性。算法:串行的Boosting和并行的Bagging,前者通过错判训练样本重新赋权来重复训练,来提高基学习器的准确性,降低偏差!后者通过采样方法,训练出多样性的基学习器,降低方差。1.catboost 的优缺点性能卓越:在性能方面可以匹敌任何先进的机器学习算法鲁棒性/强健性:它减少了对很多超参数调优的需求,并降低了过度拟合的机会,这也使得模型变得更加具有通用性易于使用:提供与 scikit 集成的 Python 接口,以及原创 2022-04-07 15:49:02 · 16514 阅读 · 1 评论 -
XGBoost A Scalable Tree Boosting System
xgboost 论文阅读笔记原创 2022-02-01 23:10:56 · 550 阅读 · 0 评论 -
岭回归与最小二乘法
#! https://zhuanlan.zhihu.com/p/406879862岭回归与最小二乘法对于过拟合我们有很多种处理方法,常用的有三种:增加数据、特征选择、正则化。岭回归即我们通常所述的 l2l2l2 正则,这里研究一下上一篇文章的最小二乘法的岭回归的形式。 首先回顾一下最小二乘法,L=∑i=1N∥wTxi−yi∥2L=\sum_{i=1}^{N}\|w^Tx_i-y_i\|^2L=∑i=1N∥wTxi−yi∥2,得到w^=argminwL=(XTX)−1XTY\hat{w}=\und原创 2021-09-04 20:51:07 · 446 阅读 · 0 评论 -
k邻近算法原理和sklearn函数的参数详解
kkkNNk近邻(k-Nearest Neighbor, kNN),kNN的一个特点是没有显式的训练过程,事实上,它是“懒惰学习”(lazy learning)的代表,那些在训练过程中就迫不及待学习处理样本的方法,称为“急切学习”(eager learning)。讨论最近邻算法(k=1)给定测试样本x,若其最近邻样本为z,则最近邻分类器出错的概率就是x和z类别标记不同的概率$$P(err)=1-\sum_{c\in \mathcal{Y}}P(c|x)P(c|z)$$假设样本独立同分布,且对任原创 2021-10-18 14:36:40 · 1733 阅读 · 0 评论 -
最小二乘法 ——白板推导系列(第三节)
最小二乘法及其几何意义最小二乘法介绍最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小 。最小二乘法还可用于曲线拟合,其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。假设有N个样本点X=(x1,x2,…,xN)TX=(x_1, x_2, \dots, x_N)^TX=(x1,x2,…,xN)T, xix_ixi是ppp维向量, 相应的观测数原创 2021-09-01 10:27:31 · 175 阅读 · 0 评论 -
(B站)白板推导系列学习笔记(第一节)
(B站)白板推导系列学习笔记(第一节)频率派VS贝叶斯派机器学习中的统计问题频率派贝叶斯派总结频率派VS贝叶斯派该节介绍了频率派和贝叶斯派的异同和应用点,内容来源于b站up主shuhuai008。机器学习中的统计问题在一些典型的机器学习问题中,我们常常会遇到样本X和参数θ\thetaθ, 样本X作为观察到的信息,通常是一个矩阵形式:[x11x12⋯x1nx21x22⋯x2n⋮⋮⋯⋮xn1xn2⋯xnn]\begin{bmatrix} x_{11} &x_{12} &\cdots原创 2021-06-23 10:51:56 · 123 阅读 · 0 评论 -
神经网络常用和不常用损失函数
神经网络中常用损失函数汇总假设训练集有N个数据对,输入数据XXX:x1,x2,⋯ ,xNx_1, x_2, \cdots, x_Nx1,x2,⋯,xN,输入数据预测值为YpredictY_{predict}Ypredict:ypredict1,ypredict2,⋯ ,ypredictNy_{predict}^1, y_{predict}^2, \cdots, y_{predict}^Nypredict1,ypredict2,⋯,ypredictN,输入数据真实值为YtrueY_{true}原创 2021-10-18 14:34:26 · 204 阅读 · 0 评论 -
贝叶斯 sklearn
sklearn上的全部贝叶斯类型https://sklearn.apachecn.org/#/docs/master/10原创 2021-10-18 16:26:19 · 77 阅读 · 0 评论 -
EM算法学习
#! https://zhuanlan.zhihu.com/p/402301009EM算法详解1.1 EM算法概括 我们从最大后验出发,根据最大后验的原理,我们求参数的方法为θMLE=argmaxaP(x∣θ)\theta_{MLE}=\underset{a}{argmax}P(x|\theta)θMLE=aargmaxP(x∣θ),EM算法的迭代格式为θ(t+1)=argmaxa∫zlogP(x,z∣θ)⋅P(z∣x,θ(t))dz=argmaxaEz∣x,θ(t)[logP(x,z∣θ原创 2021-08-22 11:20:36 · 146 阅读 · 0 评论 -
变分推断学习
#! https://zhuanlan.zhihu.com/p/401456634变分推断1.变分推断的背景 在机器学习中,有很多求后验概率的问题,求后验概率的过程被称为推断(Inference),推断分为精确推断和近似推断。精确推断一般主要是根据贝叶斯等概率公式推导出后验概率,但在一些生成模型中,如RBM, DBN, DBM很难应用精确推断,于是乎我们就有了近似推断,近似推断又分为确定性近似和随机性近似,确定性近似方法就是变分推断(Variance Inference, VI),随机性近似的方法原创 2021-08-19 15:33:06 · 348 阅读 · 0 评论 -
白板推导系列(第二节)
白板推导系列(第二节)内容来源于b站up主shuhuai008高斯分布介绍正态分布(Normal distribution),也称“常态分布”,又名高斯分布(Gaussian distribution),最早由棣莫弗(Abraham de Moivre)在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。一元高斯分布的概率密度函数为:f(x)=12原创 2021-07-07 20:22:59 · 105 阅读 · 0 评论