机器学习
文章平均质量分 61
培之
这个作者很懒,什么都没留下…
展开
-
主成分分析系列(三)为何协方差矩阵的特征值越大对应的特征向量方向的方差越大
数据Dx1x2xnDx1x2xn(注意,数据D\mathbf{D}D已经零-均值化),将x1x2xnx1x2xn拼成一个大矩阵X\mathbf{X}XX∈Rn×dX∈Rn×d则协方差矩阵Σ\SigmaΣ1n−1XTXn−11XTX根据简单的线性代数知识,向量xixi在单位向量v\mathbf{v}v上的投影向量是uivTxivui。原创 2023-07-02 15:29:25 · 698 阅读 · 0 评论 -
主成分分析系列(一)概览及为什么数据要中心化
主成分分析(Principle Component Analysis,PCA)算法属于数据降维算法里面的一种。数据降维算法的主要想法是从高维度数据中找到一种结构,这种结构蕴含了数据中的大部分信息,从而将高维数据降维到低维数据,方便观察、可视化与后续处理。准确地说,原创 2023-07-01 15:09:57 · 1581 阅读 · 0 评论 -
主成分分析系列(二)为什么特征向量是主成分
现在我们已经知道如何投影数据,最后一步是改变坐标以获得最终的kkk维向量y\mathbf{y}y令矩阵则坐标变换是在EtEt。原创 2023-07-01 23:05:32 · 617 阅读 · 0 评论 -
深度学习(Deep Learing,DL)常见讨论知识点
记录关于深度学习的一些重要点原创 2022-11-18 11:28:39 · 257 阅读 · 0 评论 -
batch size,epoch,iteration
深度学习中的3个概念batch size,一次前向传播+一次后向传播用到的训练样本的数量。epoch,所有的训练样本每进行了一次前向传播+后向传播,epoch = epoch +1iteration,一个 epoch 使用的batch数(与batch size不同)举例子,如果有1000个训练样本,batch size 设置为500。那么需要2个iterations来完成一个 epoch。...原创 2021-12-20 19:34:19 · 832 阅读 · 0 评论 -
逻辑回归 笔记
概述Logistic regression is a method for classifying data into discrete outcomes.逻辑回归将数据归类为离散的结果并输出。逻辑回归虽然名为“回归”,但它解决的其实是分类问题。以二分类问题为例,习惯上把我们关注的某一现象的存在归为y=1(如垃圾邮件、恶性肿瘤细胞),反之则为y=0。为什么不用线性回归.利用线性回归解决分...原创 2020-04-30 21:07:11 · 380 阅读 · 0 评论 -
探讨"特征缩放"
绪论一、本文首先基于线性回归(Linear Regression)回答下列三个问题:1 特征缩放的想法(idea)2 特征缩放的好处以及适用情况3 使用特征缩放、不使用特征缩放求出参数(theta)之间的对应关系,以及如何从代数变化、python编程角度说明如何将前者求解出的参数转化成后者求解出参数。二、进而基于除线性回归的其他机器学习算法,回答下列三个问题:1.为什么要进行特征缩放...原创 2020-04-17 22:43:25 · 747 阅读 · 6 评论 -
算法收敛性、梯度下降与正规方程组、凸函数性质(机器学习先修知识,方便理解)
算法收敛性算法收敛性在迭代法中的一个概念。迭代是数值分析中通过从一个初始估计出发寻找一系列近似解来解决问题(一般是解方程或者方程组)的过程,为实现这一过程所使用的方法统称为迭代法(Iterative Method)。跟迭代法相对应的是直接法(或者称为一次解法),即一次性的快速解决问题,例如通过开方解决方程x+3= 4。一般如果可能,直接解法总是优先考虑的。但当遇到复杂问题时,特别是在未知量很...原创 2020-04-09 18:20:52 · 972 阅读 · 0 评论 -
吴恩达机器学习1.1-1.4笔记
吴恩达机器学习1.1-1.4笔记机器学习主要算法监督学习(Supervised Learning)回归(Regression)分类(Classfication)无监督学习(UnSupervised Lesrning)聚类(Cluster)鸡尾酒会算法(Cocktail Party Algorithm)其他算法强化学习(Reforcement Learning)推荐系统(Recommend Syst...原创 2020-04-07 22:06:53 · 317 阅读 · 0 评论