Mr_W1997的博客

实现多项式回归，李航《统计机器学习》关于偏导数的求解是错误的，使用正确的求导公式实现，并获得了期望的效果%输入空间X = [1;2;5;6;10];a = size(X, 1);b = size(X, 2);%输出空间Y = [1;10;2;9;1];%假设空间以及模型选择theta_1 = [0; 0];theta_2 = [0; 0; 0; 0];theta_3 = [...

特征重要性算法项目链接：信息增益法 公式熵的定义：属性 yyy 的熵，表示特征的不确定性：P(Y=yj)=pj,i=1,2,⋯ ,n P\left(Y=y_{j}\right)=p_{j}, \quad i=1,2, \cdots, nP(Y=yj​)=pj​,i=1,2,⋯,nH(Y)=−∑j=1npjlog⁡pjH(Y)=-\sum_{j=1...

项目链接：https://github.com/Wchenguang/gglearn/blob/master/DecisionTree/李航机器学习讲解/DecisionTree.ipynb'''特征选择算法'''import numpy as npimport math'''熵的计算'''def entropy(y_values): e = 0 unique_...

朴素贝叶斯项目链接：公式推导贝叶斯算法的原理，在李航机器学习的书中已有详细证明，一下只对关键问题进行证明1 为什么贝叶斯中后验概率最大化等价于经验风险最小化令L(y,f(x))L(y, f(x))L(y,f(x))为损失函数，通过积分可以得到经验损失Repp(f)=∫x∫yL(y,f(x))×P(x,y)dxdy=∫x∫yL(y,f(x))×P(y∣x)P(x)dxdy=∫xP(x)...

K近邻分类算法项目链接：https://github.com/Wchenguang/gglearn/blob/master/KNNClassifier-todo/李航机器学习讲解/KNNClassifier.ipynb公式笔记Lp距离公式Lp(xi,xj)=(∑l=1n∣xi(l)−xj(l)∣p)1p L_{p}\left(x_{i}, x_{j}\right)=\left(\su...

多项式回归项目链接：https://github.com/Wchenguang/gglearn/blob/master/PolynomialClassifier/李航机器学习-讲解/PolynomialClassifier.ipynb公式推导损失函数定义为平方损失函数cos⁡t=12(f(X)−Y)2L=1N×∑i=1N12(∑j=0M(wjxij)−yi)2 \begin{arra...

%对于超平面性质的证明在笔记中可以见到，书中对于感知机的介绍已足够详细%输入空间即特征空间，假设空间是所有w及b确定的超平面，输出空间为{-1, 1}%数据集 以书中数据为例T = [3,3,1; 4,3,1; 1,1,-1];w = zeros(size(T, 1) - 1, 1);b = 0;%训练模型，学习速率为1[w,b] = train(w, b, T...

实现了ID3和C4.5中最关键的，信息增益及信息增益比的计算以及节点的生成策略，尽量用矩阵运算以及matlab关于矩阵处理的api。%另一个文件中测试代码 p = node([1;2], [1,2,3;2,1,4;2,3,1;3,2,1;2,3,4;4,2,1;3,2,1], 0.6)classdef node properties %该节点的y标记 ...

实现朴素贝叶斯分类器，并且根据李航《统计机器学习》第四章提供的数据训练与测试，结果与书中一致分别实现了朴素贝叶斯以及带有laplace平滑的朴素贝叶斯%书中例题实现朴素贝叶斯%特征1的取值集合A1=[1;2;3];%特征2的取值集合A2=[4;5;6];%S M LAValues={A1;A2};%Y的取值集合YValue=[-1;1];%数据集和T=[ 1,4,-1;...

AdaBoost梯度提升算法项目链接：https://github.com/Wchenguang/gglearn/blob/master/AdaBoost/李航机器学习讲解/AdaBoost.ipynb算法步骤与原理训练 mmm 个弱学习分类器，分类器有相同的接口Gm(x):X→{x1,x2… } G_{m}(x) : \mathcal{X} \right...