机器学习 统计学
文章平均质量分 89
寻找青锋剑
这个作者很懒,什么都没留下…
展开
-
实现一版简单版XGBoost
XGBoost代码实践参考文章代码python代码部分结果部分树结构参考文章xgboost原理分析以及实践代码python代码# -*- coding:utf-8 -*-"""@author : shl@time : 2022-03-29 22:51@filename : SimpleXGBoost.py"""import loggingimport mathfrom typing import Listfrom six import StringIOimp原创 2022-04-02 23:25:12 · 1046 阅读 · 1 评论 -
手撸BoostingTree GBDT
BoostingTree代码实践数据数据例 8.2xix_ixi12345678910yiy_iyi5.565.705.916.406.807.058.908.709.009.05python 代码from typing import Listimport numpy as npimport pandas as pdpd.set_option("display.max_columns", 20)pd.set_optio原创 2022-03-20 23:58:27 · 788 阅读 · 0 评论 -
手撸AdaBoost
AdaBoost代码实践数学定义代码实现数据新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入数学定义决策树以及AdaBoost代码实现数据序号12345678910x01原创 2022-03-18 17:53:22 · 1378 阅读 · 0 评论 -
梯度提升树GBDT帮助理解
梯度提升树GBDT关键是利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值,拟合一个回归树。−[∂L(y,f(xi))∂f(xi)]-\left[ \frac{\partial L(y,f(x_i))}{\partial f(x_i)} \right]−[∂f(xi)∂L(y,f(xi))]讲解GBDT的一个不错的博客结合下面帮助理解learnrate:0....原创 2020-05-07 22:07:00 · 174 阅读 · 0 评论 -
SCST强化学习
self-critical sequence training (SCST)部分公式推导wt∼softmax(st)w_t \sim softmax(s_t)wt∼softmax(st)softmax:Si=esi∑jejsoftmax : S_i = \frac{e^{s_i}}{\sum_j e^j} softmax:Si=∑jejesi▽θL(θ)≈∑t=1T∂L(θ)∂...原创 2019-09-11 11:54:35 · 1537 阅读 · 1 评论 -
序列模型学习
序列模型符号x(i)&lt;j&gt;x^{(i){&lt;j&gt;}}x(i)<j>1.词典30000到50000词正常,&lt;unkwon&gt;&lt;unkwon&gt;<unkwon>表示未知词语。one-hot向量:[01000⋮0]\begin{bmatrix} 0 \\ ...原创 2019-01-09 07:26:18 · 123 阅读 · 0 评论 -
优化算法学习
优化算法加权平均(指数加权移动平均)vt=βvt−1+(1−β)θtv_t = \beta v_{t-1}+(1-\beta)\theta_tvt=βvt−1+(1−β)θt偏差修正vt1−βt\frac{v_t}{1-\beta^t}1−βtvtMomentum梯度下降法vdw=βvdw+(1−β)dwv_{dw}=\beta v_{dw}+(1-\beta)dwvdw=...原创 2019-01-09 07:08:35 · 141 阅读 · 0 评论 -
卡尔曼滤波实例
代码1clear;clc;n_iter = 100;t = 1:n_iter;sz = [n_iter,1];x = 24;Q = 4e-4;R = 0.25;T_start = 23.5;delta_start = 1;z = x + sqrt(R)*randn(sz); %100次的测量结果state_kalman = zeros(sz);variance_kalm...原创 2018-12-18 09:29:37 · 6786 阅读 · 0 评论 -
EM算法例子 matlab
EM算法EM算法 实例讲解%{实现的是一个AB硬币的例子thetaA和thetaB表示硬币A和B正面向上的概率A的计算结果是在每一轮投掷时,选择的是硬币A的概率%}clearclcdata = [[5 5];[9 1];[8 2];[4 6];[7 3]];m_step = 10;PA = zeros(1,5);PB = zeros(1,5);A = zeros(5,1)...原创 2018-12-18 09:11:59 · 5378 阅读 · 0 评论 -
决策树以及AdaBoost(随时更改,来自统计学习方法)
决策树(decision tree)熵是随机变量不确定性的度量。随机变量XXX的熵的定义为H(X)=H(p)=−∑i=1npilogpiH(X)=H(p)=-\sum_{i=1}^np_i\log{p_i}H(X)=H(p)=−i=1∑npilogpi信息增益:特征AAA对训练数据集DDD的信息增益g(D,A)g(D,A)g(D,A),定义为集合DDD的经验熵H(D)H(D)H(D)...原创 2018-12-16 16:12:20 · 1395 阅读 · 0 评论 -
SVM学习笔记
SVM (support vector machines)KKT 条件拉格朗日函数:L(ω,b,ξ,α,μ)=12∥ω∥2+C∑i=1Nξi−∑i=1Nαi[yi(ωxi+b)−1+ξi]−∑i=1NμiξiL(\omega,b,\xi,\alpha,\mu)=\frac{1}{2}\parallel\omega\parallel^2 +C \...原创 2018-12-15 11:33:18 · 155 阅读 · 0 评论