三维虫子-CSDN博客

原创 PC连接wifi时，在uboot上使用snf和tftp

参考： https://hxydj.blog.csdn.net/article/details/115665798。

2023-02-17 21:40:52 354

转载常见损失函数和评价指标总结

原文链接：https://blog.csdn.net/weixin_42137700/article/details/104079860原文渲染看不下去，重新渲染一下1. 损失函数：1.1 回归问题1. 平方损失函数（最小二乘法）：L(Y,f(x))=∑i=1n(Y−f(X))2L(Y, f(x)) = \sum_{i=1}^n (Y - f(X))^2L(Y,f(x))=i=1∑n(Y−f(X))2回归问题中常用的损失函数，在线性回归中，可以通过极大似然估计（MLE）推导。计算的是预测值

2021-07-29 21:07:22 634

原创统计学习方法--支持向量机（2）

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录线性支持向量机与软间隔最大化线性支持向量机线性支持向量机与软间隔最大化线性支持向量机线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。怎么才能将它扩展到线性不可分问题呢?这就需要修改硬间隔最大化，使其成为软间隔最大化。假设给定一个特征空间上的训练数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T = \{(x_1, y_1), (x

2021-05-27 17:22:20 197

原创统计学习方法--支持向量机（1）

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录线性可分支持向量机与硬间隔最大化线性可分支持向量机函数间隔和几何间隔间隔最大化最大间隔分离超平面支持向量机(support vector machines，SVM) 是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机:支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadrati

2021-04-30 23:25:43 231

原创统计学习方法--逻辑斯谛回归与最大熵模型（下）

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录模型学习的最优化算法改进的迭代尺度法模型学习的最优化算法逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化的方法都适用，保证能找到全局最优解。常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快。下面介绍基于改进的迭代尺度法与拟牛顿法的最大熵模型学习算法

2021-04-25 21:11:23 236 1

原创统计学习方法--逻辑斯谛回归与最大熵模型（上）

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录逻辑斯谛回归模型逻辑斯谛分布二项逻辑斯谛回归模型模型参数估计多项逻辑斯谛回归逻辑斯谛回归(logistic regression) 是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。逻辑斯谛回归模型逻辑斯谛分布定义6.1(逻辑斯蒂分布) 设XXX是连续随机变量，XXX服

2021-04-20 21:51:55 166

原创统计学习方法--KL散度的定义和狄利克雷分布的性质

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录KL散度的定义狄利克雷分布的性质KL散度的定义KL散度是描述两个概率分布Q(x)Q(x)Q(x)和P(x)P(x)P(x)相似度的一种度量，记作D(Q∥P)D(Q\Vert P)D(Q∥P)。对离散随机变量， KL 散度定义为D(Q∥P)=∑iQ(i)log⁡Q(i)P(i)(E.1)D(Q\Vert P) = \sum_i Q(i) \log \frac{Q(i)}{P(i)} \quad \tag{E.1}

2021-04-17 14:41:28 969

原创统计学习方法--矩阵的基本子空间

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录向量空间的子空间向量空间的基和维数矩阵的行空间和列空间矩阵的零空间子空间的正交补矩阵的基本子空间向量空间的子空间若SSS是向量空间VVV的非空子集，且SSS满足以下条件:(1)对任意实数aaa，若x∈Sx\in Sx∈S，则ax∈Sax \in Sax∈S；(2)若x∈Sx \in Sx∈S且y∈Sy \in Sy∈S，则x+y∈Sx + y \in Sx+y∈S；则SSS称为VVV的子空间。设v1,v2,⋯

2021-04-16 09:25:00 506

原创统计学习方法--拉格朗日对偶性

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录原始问题对偶问题原始问题和对偶问题的关系在约束最优化问题中，常常利用拉格朗日对偶性(Lagrange duality) 将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中，例如，最大熵模型与支持向量机。原始问题假设f(x),ci(x),hj(x)f(x), c_i(x), h_j(x)f(x),ci(x),hj(x)是定义在RnR^nRn上的连续可微函数。考虑约束最优化问

2021-04-15 08:26:01 213

原创统计学习方法--牛顿法和拟牛顿法

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录

2021-04-14 08:17:45 638

原创统计学习方法--梯度下降法

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白梯度下降法(gradient descent) 或最速下降法(steepest descent) 是求解无约束最优化问题的一种最常用的方法，具有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。假设f(x)f(x)f(x)是RnR^nRn上具有一阶连续偏导数的函数。要求解的无约束最优化问题是min⁡x∈Rnf(x)(A.1)\min_{x \in R^n} f(x) \quad \tag{A.1}x

2021-04-11 17:02:09 359

原创统计学习方法--决策树

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录决策树模型与学习决策树模型决策树与if-then 规则决策树与条件概率分布决策树(decision tree) 是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策

2021-04-06 19:40:40 299 1

原创统计学习方法--朴素贝叶斯法

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录朴素贝叶斯法的学习与分类基本方法朴素贝叶斯(naïve Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法与贝叶斯估计(Bayesian estimation) 是不同的概念。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布:然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。事情已经发

2021-03-28 15:04:17 276 1

原创统计学习方法--k近邻法

与公众号同步更新，详细内容及相关ipython文件在公众号中，公众号：AI入门小白文章目录k近邻模型模型距离度量k 值的选择分类决策规则kkk近邻法的实现: kdkdkd树构造kd 树搜索kd 树代码部分距离度量KNN--鸢尾花sklearn实例kd树搜索kd树k近邻法-习题习题3.1习题3.2习题3.3k 近邻法的输入为实例的特征向量，对应于特征空间的点:输出为实例的类别，可以取多类。k 近邻法假设给定一个训练数据集，其中的实例类别己定。分类时，对新的实例，根据其k 个最近邻的训练实例的类别，通过

2021-03-25 08:22:49 607 3

原创统计学习方法--感知机

感知机(perceptron) 是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和一1 二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面。感知机预测是用学习得到的感知机模型对新的输入实例进行分类。定义2.1 (感知机) 假设输入空间(特征空间)是x⊆Rnx \subseteq R^nx⊆Rn，输出空间是y={+1,−1}y=\{+1,-1\}y={+1,−1}。输入z∈Xz \i

2021-03-22 08:08:53 222

原创利用python进行数据分析--时间序列（下）

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录时期及其算术运算时期及其算术运算时期（period）表示的是时间区间，⽐如数⽇、数⽉、数季、数年等。Period类所表示的就是这种数据类型，其构造函数需要⽤到⼀个字符串或整数，以及表11-4中的频率：p = pd.Period(2007, freq='A-DEC')p...

2021-03-21 08:04:14 779 2

原创利用python进行数据分析--时间序列（上）

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录⽇期和时间数据类型及⼯具字符串和datetime的相互转换时间序列基础索引、选取、⼦集构造带有重复索引的时间序列⽇期的范围、频率以及移动⽣成⽇期范围频率和⽇期偏移量WOM⽇期移动（超前和滞后）数据通过偏移量对⽇期进⾏位移时区处理时区本地化和转换操作时区意识型Timestamp对象时间序列（time series）数据是⼀种重要的结构化数据形式。在多个时间点观察或测量到的任何事物都可以形成⼀段时间序列。很多时间序列是固

2021-03-20 07:52:07 389

原创利用python进行数据分析--数据聚合与分组运算

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录GroupBy机制对分组进⾏迭代选取⼀列或列的⼦集通过字典或Series进⾏分组通过函数进⾏分组import numpy as npimport pandas as pdPREVIOUS_MAX_ROWS = pd.options.display.max_rowspd.options.display.max_rows = 20np.random.seed(12345)import matplotlib.pyp

2021-03-19 10:52:13 341

原创利用python进行数据分析--绘图和可视化matplotlib

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白文章目录matplotlib API入门Figure和Subplot调整subplot周围的间距颜⾊、标记和线型设置标题、轴标签、刻度以及刻度标签添加图例使用rc配置默认属性绘制各类图形信息可视化（也叫绘图）是数据分析中最重要的⼯作之⼀。它可能是探索过程的⼀部分，例如，帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。另外，做⼀个可交互的数据可视化也许是⼯作的最终⽬标。Python有许多库进⾏静态或动态的数据可视化

2021-03-16 15:25:35 372 1

qq_45761584的博客