weixin_43213682的博客

转载 XGBoost

一、XGBoost原理GBoost实现的是一种通用的Tree Boosting算法，此算法的一个代表为梯度提升决策树（Gradient Boosting Decision Tree, GBDT），又名MART(Multiple Additive Regression Tree)。GBDT的原理是，首先使用训练集和样本真值（即标准答案）训练一棵树，然后使用这棵树预测训练集，得到每个样本的预测值，...

转载 GDBT

借鉴第1~4节：GBDT算法内部究竟是如何工作的？第5节：它可以用于解决哪些问题？第6节：它又是怎样应用于搜索排序的呢？  GBDT主要由三个概念组成：Regression Decistion Tree（即DT)，Gradient Boosting（即GB)，Shrinkage (算法的一个重要演进分枝，目前大部分源码都按该版本实现）。搞定这三个概念后就能明白GBDT是如何工作...

原创 集成学习

概述 对于训练集数据，通过训练若干个体学习器，通过一定的结合策略，最终形成一个强学习器。 个体学习器 同质：个体学习器同一种类 个体学习器间强依赖关系（串行生成） 代表：Boosting，应用最多的是AdaBoost、提升树，后者中主要为梯度提升树 个体学习器间弱依赖关系（并行生成） 代表：Bagging、随机森林 ...

原创 ID3

原创 决策树的学习框架

原创 Titanic----7

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...

原创 Titanic----6

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...

原创 Titanic -----5

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...

原创 Titanic--4

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...

原创 Titanic_3

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...

原创 Titanic

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...

原创 Titanic - 预处理部分

# 数据分析和处理import numpy as npimport pandas as pd# 数据可视化import seaborn as snsimport matplotlib.pyplot as plt%matplotlib inlinetrain_df = pd.read_csv('./train.csv')test_df = pd.read_csv('./test...