模型原理及代码复现
顽强卖力
大学金融工程专业毕业!
展开
-
决策树算法
我们可以构建一个决策树,其中每个节点都是一个特征,每个分支代表一个可能的决策结果(比如“甜”或“不甜”),每个叶节点就是最终的预测结果。这些指标可以衡量划分后的子集的纯度(即每个子集中同类样本的比例)以及划分后的信息熵(即样本的不确定性)。决策树的构建过程可以形象地理解为:在每个节点,我们都会考察一个特征,根据这个特征的不同取值,我们选择一个分支继续往下走。决策树是一种树形结构,其中每个节点代表一个特征或属性,每个分支代表一个决策结果,每个叶节点代表一个类别(在分类问题中)或一个数值(在回归问题中)。原创 2023-11-14 15:20:49 · 118 阅读 · 1 评论 -
逻辑回归算法原理及代码复现
损失函数可以表示为:J(w,b) = - log[p(y=1|x,w,b)] - log[p(y=0|x,w,b)]其中,α是学习率,∂J(w,b) / ∂w和∂J(w,b) / ∂b分别表示损失函数对w和b的梯度。通过迭代更新w和b,我们可以逐渐逼近最优解,使得模型的预测概率更接近真实概率,从而达到分类的目的。其中,p(y=1|x,w,b)和p(y=0|x,w,b)分别表示样本点属于类别1和类别0的概率。其中,w和b是模型参数,x是输入向量,g是sigmoid函数,h(x)表示模型预测为1的概率。原创 2023-11-12 17:34:48 · 109 阅读 · 1 评论