weixin_42660711的博客

前言昨日在学习响应面误差分析的过程中看到下面一段话：这里对自由度的概念算是熟悉又陌生，查阅文献打算将自由度的概念给搞清楚，为后面的学习打下基础。着里参考的话题源自如下如何理解统计学中的自由度？自由度的概念首先，最严格、最不会产生歧义的定义就是在卡方分布：f(x)=xn2−1e−x22n2Γ(n2)f\left( x \right) =\frac{x^{\frac{n}{2}-1}e^{-\frac{x}{2}}}{2^{\frac{n}{2}}\varGamma \left( \frac{n}{2

向前逐步回归我们在进行拟合的时候，没有必要将所有变量都引入到我们的函数之中，这种操作往往会导致过拟合，而过拟合带来的致命影响就是泛化能力差，最小二乘法估计参数的时候无法终止学习的过程。向前逐步回归的引入则可以控制学习过程中出现的过拟合，它是对最小二乘法的一种优化改进。其基本思想就是由少到多地向模型中引入变量，每次增加一个，直到没有可以引入变量为止，最后通过比较在预留样本上计算出的错误进行模型的选择。参考连接：https://www.csdn.net/tags/NtzaUg3sNTc4NjktYmxvZw

无监督学习无监督学习是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入数据进行分类或分群。无监督学习的优点：①算法不受监督信息（偏见）的约束，可能考虑到新的信息。②不需要标签数据，极大程度上扩大数据样本主要应用：聚类分析、关联规则、维度缩减应用最广的是：聚类分析（clustering）聚类分析聚类分析又称为群分析，根据对象的某些属性的相似度，将其自动化分为不同的类别。简要举几个例子：客户划分（商业）、基因聚类（生物）、新闻关联常用的聚类算法KMeans聚类（K均值聚类）KM

2D数据类别划分本篇笔记主要完成的任务如下：1.采用Kmeans算法实现2D数据自动聚类，并预测V1=80,V2=60的数据集2.计算预测准确率，完成结果矫正3.利用KNN、Meanshift算法重复步骤1、2数据集链接如下：链接：https://pan.baidu.com/s/1fNyeNARB-46pWcinP3Wciw提取码：1234#和之前一样先导入我们需要的包import numpy as npimport pandas as pdimport matplotlib.pyplo

逻辑回归之芯片通过预测1.首先基于chip.test.csv数据建立回归模型（二阶边界），评估模型表现。2.以函数的方式求解边界曲线。3.描绘出完整的边界曲线。测试用的数据集链接如下：https://pan.baidu.com/s/147IAv37uWDQysnuGCKNcLA提取码：1234#数据加载和数据可视化,产生新数据#建立模型并训练模型，然后用模型来预测#准确率#边界函数求x1、x2#描绘边界曲线import pandas as pdimport matplotlib.py

逻辑回归预测考试是否通过声明：本篇是对课程学习的记录，如有侵权请联系我删除。目标：基于数据集建立逻辑回归模型，并预测给定两门分数的情况下，预测第三门分数是否能通过；建立二阶边界，提高模型的准确率。# 加载数据import pandas as pdimport numpy as np data = pd.read_csv('examdata.csv')data.head() Exam1 Exam2 Pass

问题在Softmax回归的风险函数R(W)=−1N∑n=1N∑c=1Cyc(n)log⁡y^c(n)\mathcal{R}\left( \boldsymbol{W} \right) =-\frac{1}{N}\sum_{n=1}^N{\sum_{c=1}^C{y_{c}^{\left( n \right)}\log \hat{y}_{c}^{\left( n \right)}}}R(W)=−N1​n=1∑N​c=1∑C​yc(n)​logy^​c(n)​   &nbsp

前言今天做了一道书上的题目，题目提到了正则化，这里我翻阅了nndl发现对这一部分的讲解甚少，这里我整理一下算是对最基础知识的补充吧。正则化正则化是对过拟合采取的一种解决方法，我们希望训练的模型泛化的能力要强。这里我参考了这个博主所写的东西（链接）对过拟合的处理首先从过拟合的式子出发去解决其中参数的优化问题。过拟合f(x)f(x)f(x)涉及到的特征项一定是很多的，即x0,x1,x2,⋅⋅⋅⋅,xNx_0,x_1,x_2,····,x_Nx0​,x1​,x2​,⋅⋅⋅⋅,xN​等等。当N很大的时候，w

前言机器学习任务可以分为两类：一样是样本的特征向量xxx和标签yyy之间存在未知的函数关系y=h(x)y=h(x)y=h(x)，另一类是条件概率p(y∣x)p(y|x)p(y∣x)服从某个未知分布。最小二乘法的参数估计是属于第一类，直接建模xxx和标签yyy之间的函数关系。此外，线性回归还可以从建模条件概率p(y∣x)p(y|x)p(y∣x)的角度来进行参数估计[1]。我们也许对yyy和xxx之间函数关系有一个很好的了解，对建模的条件概率不是很了解-----至少我是这么感觉的最大似然估计（MLE）这

2-4问题描述在线性回归中，验证岭回归的解为结构风险最小化准则下的最小二乘法估计。解析目标函数如下式所示：R(w)=12∣∣y−xTw∣∣2+12λ∣∣w∣∣2R\left( w \right) =\frac{1}{2}||y-x^Tw||^2+\frac{1}{2}\lambda ||w||^2R(w)=21​∣∣y−xTw∣∣2+21​λ∣∣w∣∣2我们对www求导，然后令其为零解出www后和w∗w^*w∗进行对比验证。∂R(w)∂w=−X(y−XTw)+λw=0\frac{\part

import numpy as npimport matplotlib.pyplot as pltx = np.linspace(-5,5,50)c1 = 0c2 = 0.5c3 = 1c4 = 100y1 = x*(1/(1+np.exp(-c1*x)))y2 = x*(1/(1+np.exp(-c2*x)))y3 = x*(1/(1+np.exp(-c3*x)))y4 = x*(1/(1+np.exp(-c4*x)))plt.figure()#plt.plot(x,y1,'-'

前言今天上课的时候，在总结和深入阅读那一块有一段话：[Ramachandran et al.,2017]设计了不同形式的函数组合方式，并通过强化学习来搜索合适的激活函数，在多个任务上发现Swish函数具有更好的性能。前面大致浏览过Swish函数形式，对其很是陌生。我所熟知的激活函数是σ\sigmaσ,Tanh函数，ReLU函数（最常用），这里稍微整理一下Swish函数，并附上绘制Swish的python程序。Swish函数Swish是一种自门控(Self-Gated)激活函数，定义为：swish(x)

前言卷积之前在自动控制系统中接触过，当时查了资料感觉知乎的一位大佬写的笔记很好这里附上该篇文章的链接。下面我所写的是卷积神经网络中的一维卷积，其整体思想差不多。卷积的定义卷积(Convolution)，也叫做褶积，是分析数学的一种重要的运算，在信号处理和图像处理中，经常使用一维或者二位卷积[1]。一维卷积一维卷积经常用到信号处理中，用于计算信号的延迟累计。假设我们在每个ttt时刻都会产生一个信号xtx_txt​,其衰减系数为wkw_kwk​，在k−1k-1k−1个时间延长后为原来的wkw_kwk​

梯度下降法梯度下降法也叫做最速下降法(Steepest Descent Method),经常用来求解无约束优化的最小值问题。对于函数f(x)f(x)f(x),如果f(x)f(x)f(x)在点xtx_txt​附近是连续可微的，那么f(x)f(x)f(x)下降最快的方向是f(x)f(x)f(x)在xtx_txt​点的梯度方向的反方向。根据一阶泰勒展开式有：f(xt+1)=f(xt+Δx)≈f(xt)+△xT▽f(xt)f\left( x_{t+1} \right) =f\left( x_t+\varDe

1.前言信息论（Information Theory）是数学、物理、计算机科学等多个学科的交叉领域。信息论是由香农最早提出，主要研究的是信息的量化、存储和通信等方法。信息指的是一组消息的集合。在机器学习领域，信息论也有着大量的应用，比如特征抽取、统计推断、自然语言处理等[1]^{\left[ 1 \right]}[1]。2.熵熵(Entropy)最早是物理学的概念，在信息论中，熵是用来衡量一个随机事件的不确定性。2.1自信息和熵自信息表示一个随机事件所包含的信息量。一个随机事件发生的概率越高，其

损失函数的定义损失函数是一个非负实数，用来量化模型预测和真实标签之间的差异。我们一般会用损失函数来进行参数的优化，当构建了不连续离散导数为0的函数时，这对模型不能很好地评估。平方损失函数（Quadratic Loss Function)平方损失函数经常用在预测标签yyy为实数值的任务中，定义为：L(y,f(x;θ))=12(y−f(x;θ))2\mathcal{L}\left( y,f\left( \mathbf{x;}\theta \right) \right) =\frac{1}{2}\left

前言上一篇的模型的关键性质是它是参数w0w_0w0​,……wDw_DwD​的一个线性函数。这给模型带来了极大的局限性。因此我们将扩展函数的模型为：将输入变量的固定的非线性函数进行线性组合，形式为：y(x,w)=∑j=0M−1wjϕj(x)=wTϕ(x)y\left( \mathbf{x,w} \right) =\sum_{j=0}^{M-1}{w_j\phi _j\left( \mathbf{x} \right)}=\mathbf{w}^T\phi \left( \mathbf{x} \right) y(

归一化输入第一步：零均值化(zero out the mean)import numpy as npimport matplotlib.pyplot as plt#这里先生成散点图x1 = 5 * np.random.rand(50,1)x2 = 10 * np.random.rand(50,1)plt.scatter(x1,x2,c='r')u1 = np.mean(x1)#print(u1)u2 = np.mean(x2)#print(u2)x1 -=u1x2 -=u2p