学习笔记
XuZhiyu_
努力学习
展开
-
论文学习笔记——弱监督语义分割(Learning Integral Objects with Intra-Class Discriminator for Weakly-Supervised Sema)
目录基础概念CAM 与 ICD 的不同ICD效果展示基础概念Feature manifold(特征流形)流形是一种空间,一个流形好比是一个 m 维的数据在 d 维的空间上被扭曲的结果。其中(m > d)(一般维度压缩的方法中都会提到这个概念)上图中每张图片为同一张人脸的 64×64 的灰度图,如果按照列(或行)拼起来,就可以得到一个 4096 维的向量,这样一来,每一张图片就可以看成是 4096 维欧氏空间中的一个点。很显然,并不是 4096 维空间中任意一个点都可以对应于一张人脸图片的原创 2020-07-24 12:04:26 · 1915 阅读 · 2 评论 -
深度学习学习笔记——RNN(LSTM、GRU、双向RNN)
前置知识深度学习是什么深度学习是机器学习的一个分支由全连接网络、卷积神经网络和循环神经网络构成的结构多层全连接网络:多层感知器多层卷积神经网络卷积神经网络基本结构数据:2D输入数据形式:[批尺寸(batchsize),高度(H),宽度(W),通道数(特征数)(channel)],[B, H, W, C]2D卷积核心格式:[(卷积核心大小1,卷积核心大小2),输入通道数(特征),输出通道数(特征)]1D输入数据形式:[B, T, C]1D卷积核心格式:[K, C, C2]2原创 2020-07-05 16:58:07 · 1297 阅读 · 0 评论 -
回归算法学习笔记——线性回归、随机梯度(SGD、BGD)、逻辑回归(牛顿法)、Softmax回归算法、L1/L2正则化、Ridge、Lasso、ElasticNet
目录线性回归梯度下降算法构建损失函数梯度下降法Logistic Regression算法sigmoid函数构造目标函数构造损失函数-极大似然估计梯度下降多分类问题优化算法:牛顿法切线法另一种理解方式改进:拟牛顿法Softmax Regression算法Softmax回归代价函数L1/L2正则化L1L2L1和L2对比正则化目的Ridge与LassoElasticNet线性回归回归分析目标函数:线性回归方程 y=wx+by = wx + by=wx+b一个或多个自变量和因变量之间的关系进行建模(其中θ原创 2020-06-07 18:08:11 · 3759 阅读 · 5 评论 -
无监督机器学习学习笔记——极大似然估计、EM算法、聚类算法(K-means、DSCAN、层次聚类、AP)、降维(PCA、ICA、LDA)
目录条件概率的拓展极大似然估计EM(Expectation-Maximization)算法聚类算法K-means(约束簇)DSCAN(非约束簇)层次聚类(非约束簇)AP(非约束簇)总结矩阵降维稀疏自编码器PCA算法ICA算法字典学习线性判别分析(LDA)(与下文LDA有区别,但不常用)LDA(隐狄利克雷分配模型)条件概率的拓展极大似然估计试验1:抛硬币出现2正2反,求正面概率这里涉及到贝叶斯学派与频率学派理论频率学派认为其正面概率可以通过统计得到,也就是说世界是确定的,假设抛N次硬币有m个原创 2020-06-06 23:06:00 · 1911 阅读 · 3 评论 -
机器学习——决策树、随机森林(学习笔记)
笔记目录决策树基本流程划分选择1.ID3(信息增益):分类2.C4.5(信息增益比):分类3.CART(GINI系数):分类与回归剪枝算法预剪枝后剪枝随机森林基本流程Out of bag error (OOBE)优缺点boost算法Adaboost算法GBDT(Gradient Boosting Decision Tree)算法XGBoost集成学习BaggingBoostingStacking决策树基本流程决策树学习的目的是为了产生一颗泛化能力强,即处理未见示例能力强的决策树,其基本流程遵循简单且直原创 2020-05-30 17:22:16 · 1026 阅读 · 0 评论 -
机器学习——分类器算法对比(KNN、SVM、朴素贝叶斯、随机森林、Adaboost)(学习笔记)
目录k邻近(KNN)基础算法实例优缺点代码实现支持向量机(SVM)基础算法对偶问题松弛变量核函数代码实现朴素贝叶斯算法基本算法优点代码实现过拟合(Over fitting)以及欠拟合(Under fitting)集成学习方差和偏差模型的偏差和方差是什么?bagging的偏差和方差boosting的偏差和方差模型的独立性算法对比k邻近(KNN)基础算法KNN是通过测量不同特征值之间的距离进行分类。它的的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,原创 2020-06-01 12:06:08 · 27670 阅读 · 0 评论