![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
小胖胖的大宝宝
只写原创的机器学习学习者
展开
-
手推逻辑回归目标函数构造,以及梯度下降求解
原创 2019-11-30 12:17:15 · 311 阅读 · 0 评论 -
coordinate descent优化lasso回归,手推公式
原创 2019-11-30 11:57:42 · 514 阅读 · 0 评论 -
朴素贝叶斯训练并生成MNIST样本python实现
朴素贝叶斯生成新的样本数据,主要是通过训练时计算的先验概率p(y)和似然p(x|y)生成。首先会通过先验概率大小随机生成第c类,然后通过c类的似然概率大小,生成每一维的数据,最后就得到了新的样本。数据集加载方法load_mnist可以自行修改,这里用到了mnist-original.mat文件需要下载后放入当前路径的datasets/mldata下。 from sklearn.datasets i...原创 2019-10-28 10:39:00 · 666 阅读 · 0 评论 -
朴素贝叶斯MNIST手写识别分类python实现
朴素贝叶斯训练数据时,就是求其似然和先验概率。预测时,求最大后验概率。代码中的mnist-original.mat文件需要自行下载,并放入当前路径的datasets\mldata文件夹下。 from sklearn.datasets import fetch_mldata from collections import Counter import numpy as np #加载MNIST数据集...原创 2019-10-27 20:57:04 · 1595 阅读 · 1 评论 -
随机森林回归python实现
随机回归森林是由多个完全独立的回归决策树voting完成的,单个决策树的训练采用的是bagging,是集成学习中比较经典,效果较好的方法,可以作为baseline. from sklearn.datasets import load_iris import numpy as np class DecisionTree: def __init__(self): pass ...原创 2019-10-25 18:39:35 · 3755 阅读 · 0 评论 -
回归决策树python实现
决策树不仅可以解决分类问题,还可以解决回归问题。在分类问题中,决策树选择特征主要是使用信息增益(交叉熵减少的大小)来衡量特征是否最优,是一种贪心算法。在回归问题中,信息增益的计算采用方差减少的大小来选择特征,方差减少地越大,说明划分该特征后数据更加稳定。交叉熵和方差都是用来衡量数据稳定程度的值。 由于回归问题中需要处理连续的特征,所以需要对每个特征设置划分阈值,根据划分后的样本标签计算方差,然后加...原创 2019-10-25 14:53:29 · 1473 阅读 · 0 评论 -
逻辑回归目标函数之凸函数
逻辑回归目标函数 逻辑回归的目标函数是通过极大似然估计构造,用已经观测到的数据X对未知参数θ\thetaθ进行估计,参数是假设已存在但是未知的。 所以通过计算 θ∗=argmaxθ Πinp(y∣Xi,θ)\theta^* = \mathop{\arg\max}_{\theta} \ \Pi_{i}^{n} p(y|X_{i},\theta) θ∗=argmaxθ Π...原创 2019-10-14 20:45:51 · 1226 阅读 · 0 评论