ML
Bingmous
世界很大,我很渺小
展开
-
Bagging与随机森林
Bagging Bagging是并行式集成学习算法最著名的代表,基于自助采样法(bootstrap sampling)。 给定m个样本的数据集,选取m次,每次选1个样本,构成一个新的样本集,其中有的样本集在原始样本集中多次出现。约有63.2%存在与原始样本集。这样进行T次学习,再对学习的基学习器输出进行加权求和或投票得出最终结果。 剩下的样本可以用作包外估计,计算Bagging泛化误差的包外...原创 2019-11-22 20:08:39 · 164 阅读 · 0 评论 -
统计学习方法笔记
目录 1 统计学习方法概论 2 感知机 3 k近邻法 4 朴素贝叶斯法 5 决策树——ID3,C4.5,CART 6 逻辑回归与最大熵模型 7 支持向量机——序列最小化SMO算法 8 提升方法——AdaBoost,提升树(分类,回归),梯度提升树(GBDT) 1 统计学习方法概论 监督学习:分类、回归、标注;非监督:聚类 常用损失函数:0-1损失函数,平方损失函数,绝对损失函...原创 2019-11-22 15:07:50 · 490 阅读 · 0 评论 -
Ng ML笔记
目录 一、线性回归 1,假设函数、代价函数,梯度下降 2,特征处理 3,代价函数和学习速率 4,特征和多项式回归 5,正规方程 二、逻辑回归(Logistic Regression,LR) 1,假设函数 2,代价函数 3,梯度下降算法 4,高级算法 三、正则化 1,过拟合 2,正则化 3,正则化线性回归 4,正则化逻辑回归 四、神经网络 1,正向传播算法 2,...原创 2019-11-05 19:26:05 · 166 阅读 · 0 评论