qq_27436347的博客

原创 白板推导系列——概率知识补充

极大似然估计多维高斯分布局限性已知联合分布求边缘概率和条件概率已知边缘概率和条件概率求联合概率杰森不等式

原创 机器学习——高斯过程

高斯过程所谓高斯，即高斯分布所谓过程，即随机过程高斯分布一维高斯p(x)=N(μ,σ2)p(x)=N(\mu, \sigma^2)p(x)=N(μ,σ2)高维高斯多元高斯分布——高斯网络 x∈Rpx\in \mathbb{R}^px∈Rpp(x)=N(μ,Σ),Σp×p,p<inf⁡p(x)=N(\mu,\Sigma),\Sigma_{p\times p},p&amp...

原创 李宏毅机器学习——非监督学习（线性模型）

聚类需要多少类？empiricalK-means步骤：初始化k个聚类中心每个样本算和各个聚类中心的距离，归类到最近的中心点所在的类，更新聚类中心，重复这一步骤Hierarchical Agglomerative Clustering步骤建树结构选择threshold聚类：一个对象必须属于某一类，以偏概全，引出了distributed representation降维...

原创 李宏毅机器学习——半监督学习

定义半监督学习：存在无标签数据，通常需要一些假设生成式模型EM算法Step1: 计算无标签数据先验概率Pθ(C1∣xu) P_{\theta}\left(C_{1} | x^{u}\right) Pθ​(C1​∣xu)Step2：更新模型Low density separationself-trainingRepeat:用已有标签数据训练模型用模型去得到无标签数据的pse...

原创 李宏毅机器学习——神经网络（Why Deep）

多层神经网络有利于模块化（modularization），也就是简单特征组成复杂特征deep有利于更少data

原创 李宏毅机器学习——CNN

CNNConvolution经过filter得到feature map是full connected的特例Max Pooling选最大的做代表Flatten如何在Keras使用CNNmodel.add(Convolution2D(25,3,3,input_shape = (28,28,1)))经过卷积后，变成了25*26*26的维度model.add(MaxPool...

原创 李宏毅机器学习——Deep learning

历史1958年：感知机（线性模型）1980s：多层感知机1986：Backpropagation1989：1 hidden layer is “good enough”，why deep？2006：受限玻尔兹曼机（突破）2009：GPUSTEPdefine a set of function给定网络结构，相当于定义函数集得到参数后一个network就是一个function...

原创 李宏毅机器学习——分类

分类信用评分——是否借款医疗诊断——什么病字迹识别——什么字人脸识别——什么人How用回归来分类？不合适，离群点会影响回归结果分类的角度应该是绿色线为分界，用回归的准则为了减小误差会得到紫色线Generative ModelPokemon例子：训练集：79water，61normalP(C1)=0.56,P(C2)=0.44P(C_1)=0.56,P(C_2)=0.44P(...

原创 拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

Case 1：无约束的优化命题比如(1)min⁡J=x12+x22+x32+x42 \min J=x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+x_{4}^{2} \tag{1} minJ=x12​+x22​+x32​+x42​(1)目标函数的最小值为 000，且各变量取值为 000Case 2：带一个等式约束的优化命题(2)(1)  s.t.&nb...

原创 线性代数的理解

矩阵矩阵代表一个特定的线性变换相当于用原来的scalars对新的基进行线性组合非方阵列空间的维数与输入空间的维数相等，即矩阵有几列说明输入空间的向量有几维（也等于基向量的个数）行列式数值代表面积（体积）的变化，符号代表空间是否被翻转。行列式为0说明矩阵变换降维了，也说明矩阵不可逆，也表明会有一系列原来不是零向量的向量落到了零向量的位置，所有这些向量的集合构成了零空间秩列空间的维...

原创 python刷题记录(持续更新中)

数组给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。思路：两个指针class Solution: def removeDuplicates(self, nums: List[int]) -> int: if (len(nums) == 0): return 0; i ...

原创 数理统计知识点回顾