兢飞

目录画图软件Graphviz的安装Graphviz画图时中文乱码的解决1. Graphviz的安装Graphviz的下载官网下载地址下载graphviz-2.38.msi。安装完需要将bin目录添加到系统的环境变量python环境使用Graphviz，需要安装graphvizpip install graphviz -i https://pypi.douban.c...

目录手写实现kd树sklearn库实现kd树手写实现kd树在这里插入代码片sklearn库实现kd树在这里插入代码片

分类算法概念k\boldsymbol{k}k-近邻算法采用测量不同特征之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高适用数据范围：数值型(需要进行计算距离)和标称型。数值型：数值型目标变量则可以从无限的数值集合中取值，如0.555，666.666等 (数值型目标变量主要用于回归分析)标称型：标称型目标变量的结果只在有限目标...

在这里插入代码片

import numpy as npimport matplotlib.pyplot as pltimport pandas as pd# 造一些数据def generate_data(seed): # 随机种子，这样每次生成的数据都一样，伪随机 np.random.seed(seed) # 类别 class 1，300个样本 data_size_1 = 3...

目录Machine learning 的定义中心极限定理、 正态分布、最大似然估计推导Loss function损失函数与凸函数之间的关系全局最优解和局部最优解导数与泰勒展开推导梯度下降公式（Gradient Descent）梯度下降公式的代码L2-Norm，L1-Norm，L0-Norm推导正则化公式用L1-Norm代替L0-Norm的优点正则只对w/θw...

目录偏差和方差误差是偏差和方差而产生的，推导数学公式过拟合，欠拟合，分别对应bias和variance什么情况鞍点解决办法梯度下降Batch与Mini-Batch，SGD梯度下降的区别根据样本大小选择哪个梯度下降(批量梯度下降，Mini-Batch）SGD和Mini-Batch的代码交叉验证归一化回归模型评价指标1.偏差和方差误差是偏差和方差而产...

李宏毅PM2.5只是使用了PM2.5的特征，没有考虑其他因素来预测，对数据的处理，因为测试数据是9天，来预测第10的PM2.5，所以我对数据进行切割，9天为特征，第10天为标记，并且循环后移，例如1-9为特征10为标记，2-10为标记11为标记，根据这样的切割使数据变成3600*9的训练数据。import numpy as npimport pandas as pddir_path = ...

目录推导贝叶斯公式先验概率后验概率LR和linear regression之间的区别推导sigmoid function公式1.推导贝叶斯公式条件概率    已知B事件发生下，A事件发生的概率。P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)​全概率(百度百科)    它将对一复杂事件A的概率求解问题转化...

目录推导LR损失函数LR梯度下降Softmax原理softmax损失函数softmax梯度下降1.推导LR损失函数2.LR梯度下讲z=∑j=1nwjxj+bz=\sum_{j=1}^{n}w_{j}x_{j}+bz=j=1∑n​wj​xj​+bC=−1n∑i=1n[ylna+(1−y)ln(1−a)]C=-\frac{1}{n}\sum_{i=1}^{n}\left [ y...

目录决策树的定义熵的概念1.决策树(decision tree)的定义决策树是一个类似于流程图的数结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或者类分布。树的最顶层是根结点。2.熵（entropy）概念一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常非常不确定的事情，或者是我们一无所知的事情，需要了解大量信息&gt...

目录：1.决策树决策树模型结构决策树递归思想2.信息增益学习信息增益学习信息增益率3.决策树算法ID3算法C4.5算法C4.5算法在连续值上的处理4.数据处理划分数据集代码1.决策树定义定义分类决策树模型是一种描述对实例进行分类的树形结构。一棵决策树包含一个根节点，若干个内部节点和若干个叶节点，叶节点对应于决策结果。决策树的示意图树的递归思想...

ID3算法使用numpy ,pandas库实现ID3算法，ID3不能处理连续数据。这里给出ID3实现所有的代码，前面有解释。import operatorimport numpy as npimport pandas as pd# 导入数据集file_path = '路径'def read_data(file_path): """读取数据""" data_set ...

介绍一下matplotlib画文本提示annotate的使用方法create_plot.ax.annotate(node_text,xy=' ', xycoords='axes fraction', xytext=' ', textcoords='axes fraction', va="center", ha="center", ...

目录Gini指数回归树剪枝1. Gini指数    CART(Classification and Regression Tree， 分类和回归树)决策树是使用“基尼指数”来选择划分特征属性的。数据集D的纯度可以使用Gini值来度量：Gini(D)=∑k=1∣y∣∑k′≠kpkpk′=∑k=1ypk(1−pk)=1−∑k=1∣y∣pk2=1−∑k=1y(∣Ck∣∣D∣)2\beg...

本章将会使用标准方程法和梯度下降法进行线性回归的实现，使用了手写方法和调用sklearn库的方法。目录标准方程法import numpy as npimport matplotlib.pyplot as pltimport pandas as pdimport random# 生成原始数据x_data = np.linspace(1, 10, 100)y_data = np.a...