机器学习
文章平均质量分 94
LI_dreamLT
做一个有恒心的人!
展开
-
机器学习--(线性回归&逻辑回归)算法
1、线性回归算法y = kx+b线性回归 线性关系 非线性关系 损失函数(最小二乘法)j(w) = (h(x)-y)^2=(w*x-y)^2目标函数:最开始预测出来的模型(w已知)起始点是已知的(目标函数是已知=>w已知)第一个w是已知的,损失函数求导计算下一个w:当前的w-当前求导之后的函数上*学习率(步长)=>已知学习率不能太大也不能太小 太大=>就会跳过最低点 太小=>迭代次数多 线性回归优化原创 2021-09-12 21:30:05 · 532 阅读 · 0 评论 -
机器学习-集成算法
算法思想:传统机器学习算法 (例如:决策树,逻辑回归等) 的目标都是寻找一个最优分类器尽可能的将训练数据分开。集成学习 (Ensemble Learning) 算法的基本思想就是将多个分类器组合,从而实现一个预测效果更好的集成分类器。1、集成学习分类之Bagging算法(并行)1.1 Bootstrap sampling自助采样模型的评估方法中有留一法(将数据集划分为两个互不相交的集合,一个做测试集,一个做训练集)和交叉验证方法(将数据分成k个大小相似互不相交的子集,每次使用k-1个子集做训练集原创 2021-09-12 21:08:51 · 1079 阅读 · 0 评论 -
机器学习-决策树算法
概念:是一种树形结构,本质是一颗由多个判断节点组成的树 其中每个内部节点表示一个属性上的判断, 每个分支代表一个判断结果的输出, 最后每个叶节点代表一种分类结果。通过分析可知:决策树是非参数学习算法 决策树可以解决分类问题 决策树天然可以解决多分类问题 决策树可以解决回归问题:落在叶子节点(对应图中的A、B、C三点)的数据的平均值作为回归的结果 决策树可以应用于信用卡评级的案例中,生成相应的分类规则。1、熵 定义 熵在信息论中代表随机变量不确定度的度量。 熵越大,数据原创 2021-09-12 20:46:25 · 2824 阅读 · 1 评论