qq_27436347的博客

原创 数学基础组队学习

线代组队学习纲要线性方程组向量：加法、数乘矩阵：加法、数乘、结合律、分配律矩阵乘以向量意味着对向量做变换，一个矩阵代表一个变换逆矩阵矩阵和矩阵的乘法：批量把矩阵中的向量经过另一个矩阵的变换行列式：二阶行列式，两个行向量夹成的平行四边形的面积范数：衡量向量长度（大小）的量。l0、1、2、p、无穷范数对角化相似矩阵特征值和特征向量，某个矩阵变换下方向在同一直线正交矩阵，向量旋转，每一行是单位向量，两两行互相正交施密特正交化二次型、正定负定行列式一个矩阵的行列式就是一个平行多面体

转载 sublime添加license

首先更改host文件hosts地址: C:\Windows\System32\drivers\etc添加内容：127.0.0.1 www.sublimetext.com127.0.0.1 sublimetext.com127.0.0.1 sublimehq.com127.0.0.1 telemetry.sublimehq.com127.0.0.1 license.sublime...

原创 #数值优化算法#一维极值之黄金分割

黄金分割法也叫0.618法，是一种基于区间收缩的极小值搜索算法。比如以 [a,b][a,b][a,b] 为区间，产生两个内点x1=a+0.382∗(b−a)x2=a+0.618∗(b−a)x_1 = a + 0.382*(b-a)\\x_2 = a + 0.618*(b-a)x1​=a+0.382∗(b−a)x2​=a+0.618∗(b−a)然后根据 f(x1),f(x2)f(x_1)...

原创 递推最小二乘RLS推导

批次的最小二乘是给定一批数据比如 {yi∈R,xi∈Rn,i=1,...,N}\{y_i\in\mathbb{R},x_i\in \mathbb{R}^n,i=1,...,N\}{yi​∈R,xi​∈Rn,i=1,...,N}，满足yi=xiTθy_i = x_i^T\theta yi​=xiT​θ 从而辨识 n×1n \times 1n×1维参数向量 θ=[θ1,...,θn]\theta ...

原创 李宏毅机器学习——Transfer learning迁移学习

Transfer Learning要做的是：假设现在手上有与现在进行的task没有直接相关的data，使用这些data来帮助做一些事情。比如现在要做猫狗的分类器，所谓不直接相关的data就可能是Similar domain, different tasks（大象与老虎的图片，与猫狗图片的分布是相像的）Different domain, same task（猫狗的卡通图片，与猫狗图片的分布...

原创 白板推导系列——概率知识补充

极大似然估计多维高斯分布局限性已知联合分布求边缘概率和条件概率已知边缘概率和条件概率求联合概率杰森不等式

原创 机器学习——高斯过程

高斯过程所谓高斯，即高斯分布所谓过程，即随机过程高斯分布一维高斯p(x)=N(μ,σ2)p(x)=N(\mu, \sigma^2)p(x)=N(μ,σ2)高维高斯多元高斯分布——高斯网络 x∈Rpx\in \mathbb{R}^px∈Rpp(x)=N(μ,Σ),Σp×p,p<inf⁡p(x)=N(\mu,\Sigma),\Sigma_{p\times p},p&amp...

原创 李宏毅机器学习——非监督学习（线性模型）

聚类需要多少类？empiricalK-means步骤：初始化k个聚类中心每个样本算和各个聚类中心的距离，归类到最近的中心点所在的类，更新聚类中心，重复这一步骤Hierarchical Agglomerative Clustering步骤建树结构选择threshold聚类：一个对象必须属于某一类，以偏概全，引出了distributed representation降维...

原创 李宏毅机器学习——半监督学习

定义半监督学习：存在无标签数据，通常需要一些假设生成式模型EM算法Step1: 计算无标签数据先验概率Pθ(C1∣xu) P_{\theta}\left(C_{1} | x^{u}\right) Pθ​(C1​∣xu)Step2：更新模型Low density separationself-trainingRepeat:用已有标签数据训练模型用模型去得到无标签数据的pse...

原创 李宏毅机器学习——神经网络（Why Deep）

多层神经网络有利于模块化（modularization），也就是简单特征组成复杂特征deep有利于更少data

原创 李宏毅机器学习——CNN

CNNConvolution经过filter得到feature map是full connected的特例Max Pooling选最大的做代表Flatten如何在Keras使用CNNmodel.add(Convolution2D(25,3,3,input_shape = (28,28,1)))经过卷积后，变成了25*26*26的维度model.add(MaxPool...

原创 李宏毅机器学习——Deep learning

历史1958年：感知机（线性模型）1980s：多层感知机1986：Backpropagation1989：1 hidden layer is “good enough”，why deep？2006：受限玻尔兹曼机（突破）2009：GPUSTEPdefine a set of function给定网络结构，相当于定义函数集得到参数后一个network就是一个function...

原创 李宏毅机器学习——分类

分类信用评分——是否借款医疗诊断——什么病字迹识别——什么字人脸识别——什么人How用回归来分类？不合适，离群点会影响回归结果分类的角度应该是绿色线为分界，用回归的准则为了减小误差会得到紫色线Generative ModelPokemon例子：训练集：79water，61normalP(C1)=0.56,P(C2)=0.44P(C_1)=0.56,P(C_2)=0.44P(...

原创 拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

Case 1：无约束的优化命题比如(1)min⁡J=x12+x22+x32+x42 \min J=x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+x_{4}^{2} \tag{1} minJ=x12​+x22​+x32​+x42​(1)目标函数的最小值为 000，且各变量取值为 000Case 2：带一个等式约束的优化命题(2)(1)  s.t.&nb...

原创 线性代数的理解

矩阵矩阵代表一个特定的线性变换相当于用原来的scalars对新的基进行线性组合非方阵列空间的维数与输入空间的维数相等，即矩阵有几列说明输入空间的向量有几维（也等于基向量的个数）行列式数值代表面积（体积）的变化，符号代表空间是否被翻转。行列式为0说明矩阵变换降维了，也说明矩阵不可逆，也表明会有一系列原来不是零向量的向量落到了零向量的位置，所有这些向量的集合构成了零空间秩列空间的维...

原创 python刷题记录(持续更新中)

数组给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。思路：两个指针class Solution: def removeDuplicates(self, nums: List[int]) -> int: if (len(nums) == 0): return 0; i ...

原创 数理统计知识点回顾

原创 Python——numpy基础

首先先导入库import numpy as np 创建矩阵#创建一维的narray对象a = np.array([1,2,3,4,5])#创建二维的narray对象a = np.array([[1,2,3,4,5],[6,7,8,9,10]])a1 = np.arange(10) # 默认从0开始到10（不包括10），步长为1print(a1) # 返回 [0 1 2 3 4 5...

原创 李宏毅机器学习笔记——回归

回归A set of function: y=b+w⋅xcpy=b+w\cdot x_{cp}y=b+w⋅xcp​Goodness of function: L(f)=∑(y^−f(xcpn))2L(f)=\sum(\hat{y}-f(x_{cp}^n))^2L(f)=∑(y^​−f(xcpn​))2,Pick the “best” function f∗=argmin⁡fL(f)f...

翻译 神经网络入门教程

神经元考虑一个2入 xT=[x1 x2]x^T=[x_1\ x_2]xT=[x1​ x2​] 1出 yyy 的神经元y=f(wTx+b)y=f(w^Tx+b)y=f(wTx+b)wT=[w1 w2]w^T=[w_1\ w_2]wT=[w1​ w2​]为权重，bbb 为偏置，fff 为激活函数import numpy as npdef sigmo...

原创 文献记录——Experiment Design with Applications in Identification for Control

预报误差法Example 1.1假设FIR模型y(t,θ)=b0u(t−1)+b1u(t−2)+e(t)y(t,\theta)=b_0u(t-1)+b_1u(t-2)+e(t)y(t,θ)=b0​u(t−1)+b1​u(t−2)+e(t)一步预测为y^(t,θ)=b0u(t−1)+b1u(t−2)=θTφ(t)\begin{aligned}\hat{y}(t,\theta)&amp...

原创 机器学习——PCA实例+matlab

假设有 mmm 条 nnn 维数据构成矩阵 Xn×mX_{n\times m }Xn×m​:X=(−1−1020−20011)X=\left( {\begin{matrix}{ - 1}&{ - 1}&0&2&0\\{ - 2}&0&0&1&1\

翻译 系统辨识工具箱使用指南

Matlab系统辨识（system identification）工具箱使用指南导入数据load dryer2在app上导入时域数据，选择输入输出变量、设置起始时间和采样时间画图（Time plot），若均值非零则需要去均值 <–Preprocess > Remove means将用于估计模型的数据拖入 Working Data数据分段，用于辨识和验证 <–Pr...

原创 书籍和文献下载

Library Genesis。网站上（http://gen.lib.rus.ec/）网址为：1、http://gen.lib.rus.ec/2、http://libgen.io/3、http://libgen.org/4、http://libgen.io/scimag/从Library Genesis下载不了的还可以从网页直接链接到Sci-Hub下载。BookSC网站（htt...

原创 系统辨识——测试信号设计

原创 系统辨识——动态过程和信号的模型

本文将为浙大控制系朱豫才老师《系统辨识》课程的部分笔记线性时不变SISO过程微分方程描述 ⟶Laplace\stackrel{Laplace}{\longrightarrow}⟶Laplace​ 传递函数描述微分方程描述 ⟶辅助变量\stackrel{辅助变量}{\longrightarrow}⟶辅助变量​ 状态空间描述 ⟶C(sI−A)−1B+D\stackrel{C(sI-A)^{-1}...

原创 系统辨识——线性时不变系统

协方差函数假设e(t)e(t)e(t)是均值为零，方差为λ\lambdaλ的白噪声对扰动项的描述为v(t)=∑k=0∞h(k)e(t−k)v(t)=\sum_{k=0}^{\infty}h(k)e(t-k)v(t)=k=0∑∞​h(k)e(t−k)则扰动的均值为Ev(t)=∑k=0∞h(k)Ee(t−k)=0Ev(t)=\sum_{k=0}^{\infty}h(k)Ee(t-k)=...

原创 数字信号处理基本概念

数字信号处理基本概念离散时间信号连续和离散指的是定义域，信号的值域可以是连续的也可以是不连续的。模拟信号是连续信号的一个子集，数字信号是离散信号的一个子集。你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。典型信号单位冲激信号是单位阶跃信号的一次差分。脉冲信号也称...