- 博客(6)
- 收藏
- 关注
RSS订阅原创 Logistic-Softmax
• softmax回归是logistic回归的一般化，适用于K分类的问题，针对于每个类别都有一个参数向量θ，第k类的参数为向量θk，组成的二维矩阵为θk*n；由于在极大似然估计中，当似然函数最大的时候模型最优；而在机器学习领域中，目标函数最小的时候，模型最优；故可以使用似然函数乘以-1的结果作为目标函数。• softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。Logistic/sigmoid函数。
2024-04-20 10:25:16
665
1
原创 机器学习-梯度下降
● SGD算法中对于每个样本都需要更新参数值，当样本值不太正常的时候，就有可能会导致本次的参数更新会产生相反的影响，也就是说SGD算法的结果并不是完全收敛的，而是在收敛结果处波动的；● 当样本量为m的时候，每次迭代BGD算法中对于参数值更新一次，SGD算法中对于参数值更新m次，MBGD算法中对于参数值更新m/n次，相对来讲SGD算法的更新速度最快；：初始值不同，最终获得的最小值也有可能不同，因为梯度下降法求解的是局部最优解，所以一般况下，选择多次不同初始值运行算法，并最终返回损失函数最小情况下的结果值；
2024-04-17 21:53:14
572
原创 机器学习-回归算法
• 算法模型：线性回归(Linear)、岭回归(Ridge)、LASSO回归、Elastic Net• 正则化：L1-norm、L2-normJθ∑i1mhθxi−yi2−minθJθJθi1∑mhθxi−yi2−minθJθ• θ求解方式：最小二乘法(直接计算，目标函数是平方和损失函数)、梯度下降 (BGD\SGD\MBGD)# 加载数据# 数据预处理# 获取特征属性X和目标属性Y
2024-04-12 21:09:56
529
原创 K近邻算法（KNN）
• K近邻(K-nearst neighbors, KNN)是一种基本的机器学习算法，所谓k近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。比如：判断一个人的人品，只需要观察与他来往最密切的几个人的人品好坏就可以得出，即“近朱者赤，近墨者黑”；KNN算法既可以应用于分类应用中，也可以应用在回归应用中。 • KNN在做回归和分类的主要区别在于最后做预测的时候的决策方式不同。KNN在分类预测时，一般采用；而在做回归预测时，一般采用。
2024-04-08 13:14:48
779
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人