机器学习
文章平均质量分 72
机器学习
笑傲江湖2023
这个作者很懒,什么都没留下…
展开
-
机器学习基础必备知识
求解θ时,要一个一个求解,因为x是独立分布的,彼此不会产生影响,举个例子,y=x0*θ0+x1*θ1+b,x0代表年龄,x1代表月收入,y代表银行给的贷款额度,年龄和月收入是独立的两个维度,彼此的θ值不会相互影响。,θ如何更新的,根据下山概念,每到一个位置,要求一个梯度,再走一小步,到新的位置后,重复之前的动作,公式中θj表示当前的位置,第二项表示走的一小步,两者相加表示到了新的位置。,每次计算一个θ,以θj为例,非j的θ项因为求偏导会变成常数项,所以不会对θj产生影响,对梯度下降法做个解释。原创 2023-07-20 17:57:49 · 75 阅读 · 0 评论 -
机器学习方法(一)(决策树,随机森林,线性回归,神经网络,模型评估,集成学习)概述
一颗树,第二次采样结果为[ 1 1 2 2 3],以此结果。么你的训练成本,相对一颗决策树,就是10倍,每棵树取个平均值,缺点是,比如有十颗树,那。训练第二课树,同理操作,最终训练出十颗树,组成一个随机森林,具体来说,就是在总样本不。变的前提下,随机抽取不同的样本(有些样本会。被重复抽到),来训练不同的树,在实现随机的。同时,又保证所训练的树都是本土的,避免了外。的树认为结果是1,就输出1,对于。实现(随机森林):比方说有[1 2 3 4 5]个数据样本,随机采样,假。(升级):训练多个决策树,对于。原创 2023-07-18 17:48:43 · 2196 阅读 · 0 评论 -
机器学习(二)贝叶斯分类器 聚类 降维与度量学习 特征选择与稀疏学习
假如从家里去公司上班有三种交通方式打车、坐地铁和乘公交,对应概率为P(A1)=0.5、P(A2)=0.3、P(A3)=0.2,在已知每种方式下上班迟到的概率分别为:打车迟到:P(B|A1)=0.2,坐地铁迟到:P(B|A2)=0.4,乘公交迟到P(B|A3)=0.7,求解,若上班迟到了,是打车方式的概率是多少,即求解P(A1|B)。如果新大佬和老大佬之间的距离小于某一个设置的阈值(表示重新计算的质心的位置变化不大,趋于稳定,或者说收敛),可以认为我们进行的聚类已经达到期望的结果,算法终止。原创 2023-07-20 14:00:52 · 213 阅读 · 0 评论 -
决策树(详解)
如下图所示,①,②,两种分类结果,第一种红圈圈被100%归为一类,pi=100%(1),第二类中,红圈圈占60%,蓝圈圈占%40,pi(红)=60%(0.6),pi(蓝)=40%(0.4),logpi如下图右侧所示为log函数,pi取值范围在0-1之间,可以得到对应的y值,衡量熵大小,从图中可以看出,x(pi)越接近1,熵越小,分类效果越好,logpi最后再乘以pi,表示与各类别概率相乘,叠加得到最终的熵值,(应该)也可以得出各类别在分类中的熵。:将红蓝点分成,A,B两类,B的熵比A的小。原创 2023-07-23 17:32:00 · 119 阅读 · 0 评论 -
树模型(代码步骤)
4.更新增益及节点,把最好的特征按照字典嵌套保存。原创 2023-07-23 19:25:38 · 43 阅读 · 0 评论 -
补充(交叉验证法,岭回归,lasso回归)
从交叉验证去理解,因为数据量有限时,数据非常珍贵,想要充分利用,举个例子,假设把训练集分成10份,每次从中选取九份做训练集,一份做验证集(另一种意义上的测试集),这种分类可以做十次,最后取验证集结果的平均值(应该这样理解),作为训练结果。通常情况下,训练集是原始数据集的一部分,用于训练模型的参数。模型通过训练集来学习数据的特征,并产生一个模型,以便在之后的预测中使用。测试集的作用是评估模型在未见过的数据上的性能,并判断模型是否足够准确和鲁棒。,以提高模型的性能。深刻理解训练集,验证集,测试集概念。原创 2023-07-22 19:13:13 · 590 阅读 · 0 评论 -
机器学习(三)模型优化 深度神经网络架构 迁移学习
调参时,每次调一个参数,再去看验证集上精度的改变。重复整个操作,最后会得到对模型影响大的参数,和对模型没什么影响的参数,对模型影响大的参数中有一些是对模型很敏感的参数,意思是,这些参数改变很小就会对模型有更大的影响。:在线性模型中,我们用标准化对数据进行处理,均值为0方差为1,有助于让函数更加平滑,便于处理,但深度神经网络包含多层并且有非线性函数,无法用标准化解决,所以出现了批量归一化,有助于收敛,尽管不会改变结果,但可以提升速度。硬件不同,GPU,CPU不同,即使是同一款,新旧不同,性能上也会有差异。原创 2023-07-20 12:18:05 · 188 阅读 · 0 评论 -
机器学习-线性回归(详细步骤)
从代码上看,线性特征建模,polynomial_degree = 0,sinusoid_degree=0,在视频程序中经过以下两项处理后,输入特征变成152维。,之前一直以为损失函数是作为目标函数用梯度下降法求解,但这里只需要预测值和真实值的差值即可,而损失函数是两者差值的另一种表现形式,只是用来显示训练的效果。式中,θ是需要学习的参数,α是学习率,m是样本总数,h(x)是预测值,y是真实值,x是样本。:再步骤3计算θ的同时,也再计算损失函数(自己定义),每次迭代的损失函数都要存储,最后输出迭代结果,原创 2023-07-21 18:34:05 · 252 阅读 · 0 评论 -
逻辑回归(多分类)
概念。原创 2023-07-23 13:39:57 · 143 阅读 · 0 评论