机器学习(Machine Learning,ML)
文章平均质量分 86
个人学习笔记,整理机器学习相关的知识
wzc-run
不学习就会被AI替代
展开
-
关于为什么分类问题不能使用MSE
从本质上讲,交叉熵衡量的是同一个随机变量中的两个不同概率分布的差异程度,在机器学习中就表示为真实概率分布和预测概率分布之间的差异,所以交叉熵本质是概率问题,和几何上的欧式距离无关,在回归问题中才有欧式距离的说法。这就要求使用激活函数对最后一层进行处理,二分类使用sigmoid,多分类就使用softmax,这两个函数本质上是等价的。也是可以的,但是更多的是将回归问题转变为分类问题(离散化),然后使用交叉熵损失函数。,因此,只有在a被正确预测(a=1),且b和c都是相同值时,loss最小。原创 2024-02-29 23:10:18 · 894 阅读 · 0 评论 -
ML_特征选择
过滤式特征选择方法:“选择”与“学习”独立包裹式特征选择方法:“选择”依赖“学习”嵌入式特征选择方法:“选择”与“学习”同时进行。原创 2023-03-07 18:24:22 · 75 阅读 · 0 评论 -
ML_k近邻(KNN)
k近邻(k-Nearest Neighbor, 简称kNN)是一种常用的监督学习方法,最简单和最常用的分类算法之一,区别于K-means算法。基本原理就是根据某种距离度量找出训练集中与其最靠近的k个训练样本,然后根据这k个“邻居”的信息进行预测。在分类任务中,可使用“投票法”;在回归任务中,使用“平均法“。原创 2023-03-07 18:21:18 · 103 阅读 · 0 评论 -
ML_流形学习
流形学习是一类借鉴了拓扑流形概念的降维方法,在局部具有欧式空间的性质,能用欧式距离来进行距离计算,因此,高维空间相似的数据点,映射到低维空间距离也是相似的。原创 2023-03-07 18:19:18 · 58 阅读 · 0 评论 -
ML_主成分分析(PCA)
PCA是一种非监督降维方法,无参数技术,没有主观参数的介入,通过计算数据协方差矩阵,并对其特征值分解,可得到变换矩阵,实现降维。原创 2023-03-07 18:16:48 · 80 阅读 · 0 评论 -
ML_线性判别分析(LDA)
LDA算法是一种有监督的机器学习算法,对于分类问题,给定训练集, 设法将高维样本数据投影到最佳判别向量空间,以达到特征提取的效果,投影后使得同类样本的投影点尽可能接近,不同类样本的投影点尽可能相互远离。原创 2023-03-07 18:14:46 · 102 阅读 · 0 评论