机器学习
文章平均质量分 86
「已注销」
这个作者很懒,什么都没留下…
展开
-
泰坦尼克号
文章目录一数据探索二数据清洗三训练模型四模型融合一数据探索我们首先导入数据import pandas as pdimport matplotlib.pyplot as pltplt.style.use('fivethirtyeight')import seaborn as snsimport warningswarnings.filterwarnings('ignore')train_df = pd.read_csv(r'C:\Users\dahuo\Desktop\数据集2\trai原创 2021-08-02 09:04:46 · 1047 阅读 · 0 评论 -
xgboost
文章目录一.XGBoost原理1.目标函数2.第t颗树3.泰勒公式展开4.定义一颗树5.定义树的复杂度6.叶子节点归组7.树结构打分8.分裂一个节点9.寻找最佳分裂点10.停止分裂二.XGBoost实战1.简单流程2.参数解析3.建立模型4.再牛逼的技术也挡不过傻逼似的坚持。一.XGBoost原理1.目标函数y^i\hat y_iy^i是第i个样本xix_ixi的预测值2.第t颗树XGBoost是一个加法模型,假设我们第t次迭代要训练的树模型是ft()f_t()ft(),则有:原创 2021-07-12 21:13:36 · 1005 阅读 · 0 评论 -
机器学习——xgboost
文章目录一.基础知识1.损失函数2.GBDT与XGBoost区别二.实战数据接口参数基于天气数据集的XGBoost分类实战基于树模型的XGBoost则能很好地处理表格数据.所以打比赛常用一.基础知识1.损失函数L1、L2、smooth L1三类损失函数2.GBDT与XGBoost区别1.目标函数通过二阶泰勒展开式做近似。传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。注:支持自定义代价函数,只要函数可一阶和二阶求导。2.定义了树原创 2021-07-12 21:12:52 · 1214 阅读 · 0 评论 -
几种常见激活函数的图像绘制
文章目录1.sigmoid(x)=11+e−xsigmoid(x)=\frac{1}{1+e^{-x}}sigmoid(x)=1+e−x12.3.4.1.sigmoid(x)=11+e−xsigmoid(x)=\frac{1}{1+e^{-x}}sigmoid(x)=1+e−x1import matplotlibimport matplotlib.pyplot as pltimport numpy as npmatplotlib.rcParams['font.sans-serif'] = [原创 2021-06-05 16:59:01 · 2953 阅读 · 0 评论 -
机器学习入门(1)——线性回归
文章目录入门线性回归回归线性回归工作原理例子解释R-Squared预测未来价值入门机器学习使计算机能够从研究数据和统计信息中学习。机器学习是迈向人工智能(AI)方向的其中一步。机器学习是一种程序,可以分析数据并学习预测结果。从何处开始?在本教程中,我们将回到数学并研究统计学,以及如何根据数据集计算重要数值。我们还将学习如何使用各种 Python 模块来获得所需的答案。并且,我们将学习如何根据所学知识编写能够预测结果的函数。线性回归回归当您尝试找到变量之间的关系时,会用到术语“回归”原创 2021-05-23 11:46:18 · 1052 阅读 · 0 评论 -
机器学习入门(2)——多项式回归
文章目录1.多项式回归(Polynomial Regression)2.工作原理3.R-Squared(R2R^2R2)什么是R2R^2R2数学公式算法实现4.多项式回归有几种方法(1)numpy(2)sklearn(3)scipy1.多项式回归(Polynomial Regression)如果您的数据点显然不适合线性回归(穿过数据点之间的直线),那么多项式回归可能是理想的选择。像线性回归一样,多项式回归使用变量 x 和 y 之间的关系来找到绘制数据点线的最佳方法。2.工作原理Python 有一些原创 2021-05-23 11:45:47 · 1269 阅读 · 0 评论 -
机器学习实战(1)——房价预测
文章目录一. 对于文章涉及知识的学习(1)数据处理——数据标准化(2)欧式距离与马曼哈顿距离(3)多项式拟合二. 对于文章的理解本文章的是基于另外一位博主文章的分析型文章,读者可先行阅读此文章再来看我的文章Python机器学习房价预测 (斯坦福大学机器学习课程)机器学习的步骤简单的分为以下三步步骤①数据获取与处理步骤②选择与训练模型步骤③评估与显示一. 对于文章涉及知识的学习(1)数据处理——数据标准化1.为什么要进行数据标准化?在现实生活中,一个目标变量(y)可以认为是由多个特征变量原创 2021-05-23 11:45:08 · 3000 阅读 · 0 评论 -
Python实现梯度下降
具体数学原理我就不写了,这里只大讲一下数学公式grad∣f(x,y)=∂f∂xi⃗+∂f∂yj⃗grad\mid{f(x,y)}=\frac{\partial f}{\partial x}\vec{i} +\frac{\partial f}{\partial y}\vec{j}grad∣f(x,y)=∂x∂fi+∂y∂fj (二维)grad∣f(x,y,z)=∂f∂xi⃗+∂f∂yj⃗+∂f∂zk⃗grad\mid{f(x,y,z)}=\frac{\partial f}{\partial x}\原创 2021-05-23 11:44:33 · 981 阅读 · 0 评论 -
机器学习入门(3)——决策树(分类树)
文章目录 3.1决策树模型3.2生成决策树概念方法3.3切分特征的选择3.3.1信息熵3.3.2条件信息熵3.3.3信息增益3.3.4信息增益比3.3.5基尼指数3.4算法实现3.5绘制决策树第三方库graphviz绘制(板砖中……)使用DecisionTreePlotter(板砖中……)3.6项目实战(板砖中……)3.6.1准备数据3.6.2模型训练与测试 本文章只基于Numpy库实现决策树(但是有更好的方法)决策数是一种应用广泛的归纳推理算法,在分类问题中,决策树算法基于特征对样本进行分类,构成一原创 2021-05-23 11:43:59 · 1291 阅读 · 0 评论