XGBoost python安装问题和模型原理

XGBoost windows 安装问题

直接pip install 可能遇到 下面这个问题

No files/directories in c:\users\yaron\appdata\local\temp\pip-build-qsfrwo\xgboost\pip-egg-info (from PKG-INFO)

下面这个网站给了可操作的解决方案

https://stackoverflow.com/questions/33749735/how-to-install-xgboost-package-in-python-windows-platform/35119904#35119904

比较简单的是到这个网站下载wrapper，注意match python的版本和windows操作系统版本。

https://www.lfd.uci.edu/~gohlke/pythonlibs/

XGBoost 官方tutorial

http://xgboost.readthedocs.io/en/latest/model.html

cart  

A CART is a bit different from decision trees, where the leaf only contains decision values. In CART, a real score is associated with each of the leaves, which gives us richer interpretations that go beyond classification. This also makes the unified optimization step easier, as we will see in a later part of this tutorial.

不一定的。有可能是因为一些数值上的原因，比如共线性，就会导致系数估计非常不准，有可能共线性的变量的系数特别大或者特别小

正则让变量倾向于变小，对于真正重要的变量它的系数还是很大，不那么重要的就会相对变小。而且它也让模型倾向于从更多的输入中提取信息，而不是只依赖一两个特征