Mr_health的博客

原创 【机器学习】决策树

目录1、简介2、分类决策树构建2.1.特征选择信息熵信息增益增益率基尼指数2.2.决策树生成ID3C4.52.3.剪枝3、回归决策树的构建一个简单的例子1、简介决策树分为分类决策树和回归决策树，前者可用于处理离散型数据，后者可用于处理连续型数据。分类决策树的代表方法为：ID3算法：以信息增益为准则来生成树 C4.5算法：...

转载 提升树（boosting tree）

转载于：GBDT原理详解 统计学习方法--提升树模型（Boosting Tree）与梯度提升树（GBDT）提升树算法以决策树为基函数的提升方法为提升树，对分类问题决策树是二叉分类树，回归问题就是二叉回归树。（可以看出，决策树本来就可以用预分类或者是回归）提升树模型为加法模型，采用前向分步算法训练。所谓加法模型就是强分类器可以由多个弱分类器线性相加，...

原创 k-mean聚类获取anchor的先验大小

方法1：欧式距离#!/usr/bin/env python# -*- coding: utf8 -*-import sysfrom xml.etree import ElementTreefrom xml.etree.ElementTree import Element, SubElementfrom lxml import etreeimport numpy as npimp...

原创 数据结构（一）：树遍历顺序的求解

原创 【boosting算法】adaboost原理

参考AdaBoost原理详解Adaboost 算法介绍（针对算法面试）手把手教你实现一个 AdaBoost机器学习笔记：AdaBoost 公式推导目录1.AdaBoost原理1.1训练当前迭代最优弱分类器1.2计算最优弱分类器的权重1.3根据错误率更新样本权重2.公式推导2.1 α和的推导2.2 权重更新公式相关面试题1.AdaBoost原理...

原创 【集成学习】：bagging和boosting算法及对比

转载于：bagging和boosting算法（集成学习算法） Bagging算法和Boosting区别和联系 机器学习笔记-集成学习之Bagging，Boosting，随机森林三者特性对比前言 集成学习定义：集成学习通过构建并结合多个学习器来完成学习任务。分类：只包含同种类型的个体学习器，这样的集成是“同质”的，例如都...

转载 【机器学习】数据归一化与标准化

转载：https://www.jianshu.com/p/3761bad01053一.为什么要数据归一化和标准化对于大多数的机器学习算法和优化算法来说，将特征值缩放到相同区间可以使得获取性能更好的模型。就梯度下降算法而言，例如有两个不同的特征，第一个特征的取值范围为1-10，第二个特征的取值范围为1-10000。在梯度下降算法中，代价函数为最小平方误差函数，所以在使用梯度下降算法的时候，算......

原创 【机器学习】常见的损失函数

1. 损失函数、代价函数与目标函数损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。 代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。 目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。从学习任务的类型出发，可以从...

原创 ubuntu python2.7安装gdal

直接pip install GDAL不行sudo apt-get updatesudo apt-get install gdal-binsudo apt-get -y install python-gdal