机器学习
文章平均质量分 66
xys430381_1
这个作者很懒,什么都没留下…
展开
-
主动学习综述
基本思想基本概念主动学习(查询学习),是机器学习的一个子领域。主要的思想是:通过一定的算法查询最有用的未标记样本,并交由专家进行标记,然后用查询到的样本训练分类模型来提高模型的精确度。什么时候需要主动学习?项目是冷启动的,在冷启动初期,标签数据是非常稀少的,而且打标成本也相对比较高;项目虽然不是冷启动,但是很难通过专家构建多元线性分类器,换句话说就是很难通过写出一条条实值规则的逻辑组合。这在实际工作中也是非常常见的,典型地表现会是安全运营人员会发现自己的专家经验“很难准确定义”,往往是通过长时间原创 2022-05-11 08:01:00 · 730 阅读 · 0 评论 -
超声舌图像
语音知识 Pronunciation(发音分类)超声语言治疗数据集:https://ultrasuite.github.io/原创 2021-07-23 18:05:12 · 227 阅读 · 0 评论 -
信息论知识(熵,KL散度,交叉熵,条件熵,互信息)
信息论知识:互信息、交叉熵、KL散度归一化互信息系数矩阵的python实现互信息的应用牛津大学|“不变信息聚类” :满足你对无监督深度聚类的一点幻想,Invariant Information Clusteringrepresentation learning与clustering的结合(1)...原创 2021-06-24 10:34:31 · 297 阅读 · 0 评论 -
Gamma分布,Beta分布,多项式分布,Dirichlet狄利克雷分布
超详细理解Gamma分布,Beta分布,多项式分布,Dirichlet狄利克雷分布(狄利克雷分布的公式,期望)理解Gamma分布、Beta分布与Dirichlet分布什么是beta分布,狄利克雷分布(numpy怎么生成狄利克雷分布)概率分布 - torch.distributions(pytorch中生成狄利克雷分布:torch.distributions.dirichlet.Dirichlet)...原创 2021-06-21 15:01:39 · 1250 阅读 · 0 评论 -
自编码器/autoencoder
基本原理半小时理解变分自编码器(1、对变分自编码器为什么在隐空间要进行概率分布约束(正则化)进行了详细直观的阐述:保证隐空间的连续性和完整性,就能使生成空间具有连续性和可解释性。2、对VAE的损失函数设计进行了全面阐述:重构误差+隐空间的正则化项,并对正则化项进行了分解阐述)一文理解变分自编码器(VAE)(第一二节对自编码器、变分自编码器的原理的差异介绍非常直观,尤其是概率分布图和数据点之间的差别)变分自编码器介绍、推导及实现(有一张VAE的神经网络架构图,很直观)变分自编码器VA原创 2021-03-24 22:33:37 · 500 阅读 · 0 评论 -
迁移学习
《小王爱迁移》系列文章汇总目录Deep Domain Adaptation论文集【数据挖掘顶会KDD2020】小样本学习116页ppt教程附视频讲解!清华龙明盛主页原创 2020-12-23 18:59:50 · 165 阅读 · 1 评论 -
损失函数与正则项(惩罚项),多loss间权重设计
正则项(惩罚项)正则项(惩罚项)的本质惩罚因子(penalty term)与损失函数(loss function)penalty term和loss function看起来很相似,但其实二者完全不同。惩罚因子:penalty term的作用就是把约束优化问题转化为非受限优化问题。罚函数的基本思想是构造辅助函数,把原来的约束问题转化为求辅助函数极小化的无约束问题。机器学习为什么需要正则项我们经常看到,标准损失函数通常由两项组成,数据损失项和惩罚项,并将惩罚项乘以超参数λ,用来平衡这两项。原创 2020-12-02 16:52:14 · 40170 阅读 · 3 评论 -
时间序列预测/相似性搜索/异常检测
时间序列预测时间序列预测方法总结#22 知识分享:时间序列深度学习综述时许异常检测时间序列异常检测(一)—— 算法综述时间序列异常检测(二)—— 基于KDD99数据集的实战【论文分享】–多维时间序列异常检测时序异常检测算法概览AutoEncoder 是一种典型的无监督方法,可以将其扩展为 variational AutoEncoder,或者引入情景信息,从而扩展为 Conditional Variational AutoEncoder(CVAEs (Conditional Variation原创 2020-10-19 19:43:55 · 2839 阅读 · 0 评论 -
从噪声标签中学习
综述:Image classification with deep learning in the presence of noisy labels: A survey-2019对应的解读:学习噪声(Deep Learning Noisy Labels)Resource:Awesome-Learning-with-Label-Noise https://github.com/gorkemalgan/deep_learning_with_noisy_labels_lit原创 2020-09-25 18:48:39 · 840 阅读 · 0 评论 -
kappa系数简介---一致性与分类准确度指标
kappa系数简介为什么要使用kappa分类问题中,最常见的评价指标是acc,它能够直接反映分正确的比例,同时计算非常简单。但是实际的分类问题种,各个类别的样本数量往往不太平衡。在这种不平衡数据集上如不加以调整,模型很容易偏向大类别而放弃小类别(eg: 正负样本比例1:9,直接全部预测为负,acc也有90%。但正样本就完全被“抛弃”了)。此时整体acc挺高,但是部分类别完全不能被召回。这时需要一种能够惩罚模型的“偏向性”的指标来代替acc。而根据kappa的计算公式,越不平衡的混淆矩阵,kappa值就原创 2020-09-24 19:59:35 · 12974 阅读 · 0 评论 -
异常检测
定义异常检测(或异常值检测)是对稀有物品、事件或观察结果的识别,这些物品、事件或观察结果与大多数数据存在显著差异,从而引起疑虑。通常,异常数据可以关联到某种问题或罕见事件,例如银行欺诈、医疗问题、结构缺陷、故障设备等。这种连接能够有趣地找出哪些数据点可以被视为异常,因为从业务角度来看,识别这些事件通常非常有趣。技术路径:异常检测方法可以大致分为基于统计,基于邻近和基于偏差[1]三种类型。统计异常检测假定数据是根据指定的概率分布建模的。诸如高斯混合的参数模型或诸如核密度估计的非参数模型可用于定义概率分原创 2020-09-23 10:18:15 · 319 阅读 · 0 评论 -
matplotlib 画混淆图
使用python matplotlib绘制混淆矩阵—x亲测可用Python绘制热点图【混淆矩阵】使用python绘制混淆矩阵(confusion_matrix)原创 2020-08-19 10:36:36 · 390 阅读 · 0 评论 -
交叉验证的缘由、原理以及四种交叉验证法(留出法,K-Fold,留一法,Bootstrap)
机器学习面试题集 - 详解四种交叉验证方法原创 2020-08-18 11:44:36 · 4147 阅读 · 0 评论 -
automl-神经架构搜索(NAS)-综述
综述文章Neural Architecture Search: A Survey (神经网络结构搜索survey)神经架构搜索的几个研究视角搜索空间/模型结构搜索空间定义了NAS算法可以搜索的神经网络的类型,同时也定义了应该如何描述神经网络结构。神经网络所实现的计算可以抽象成一个无孤立节点的有向无环图(DAG),图的节点代表神经网络的层(卷积网络中的特征图),边代表数据的流动(进行的...原创 2020-02-18 08:07:06 · 1220 阅读 · 0 评论 -
automl-进化学习-论文笔记- EAT-NAS: Elastic Architecture Transfer for Accelerating Large-scale Neural Archite
华中科大提出EAT-NAS方法:提升大规模神经模型搜索速度背景许多现有的NAS方法通过在小规模数据库上进行结构搜索,然后针对大规模数据库对深度和宽度进行手动调整。这一机制广泛的应用于NAS领域。但是由于大规模数据库与小规模数据库之间域的不同,在小规模数据库上的模型搜索算法应用于大规模数据库时,并不能保证其效果。共享与创新在这篇论文中,作者针上述的限制,提出了一种更合理的解决方案。作者使用迁...原创 2020-02-16 20:53:11 · 292 阅读 · 0 评论 -
automl-演化算法-genetic CNN-论文笔记
NAS论文笔记——Genetic CNN原文中对于基因编码的示例好像有错误,而应该如下图所示:(来自:Genetic CNN)原创 2020-02-15 21:01:52 · 646 阅读 · 0 评论 -
automl-darts路线
Gradient:Searching for A Robust Neural Architecture in Four GPU Hours | [CVPR 2019]D-X-Y/GDAS | [Pytorch]ASAP: Architecture Search, Anneal and Prune | [2019/04]Single-Path NAS: Designing Har...原创 2020-02-13 20:19:58 · 480 阅读 · 0 评论 -
Automl---模型评估/搜索加速(态射、one-shot、参数分享)
权重继承学习AutoML系统设计的四种不同技术(三)权重继承—渐变(morphism) 渐变是网络架构的生成方法,其对应的评估加速技术是权重继承auto-keras就是用的渐变以及权重继承来做神经架构搜索的: Auto-Keras: An Efficient Neural Architecture Search System参数共享学习AutoML系统设计的四种不同技术(四)共享参...原创 2020-02-04 23:19:12 · 808 阅读 · 1 评论 -
概率、统计、最大似然估计、最大后验估计、贝叶斯定理、朴素贝叶斯、贝叶斯网络
这里写自定义目录标题概率和统计是一个东西吗?概率函数与似然函数最大似然估计(MLE)概率和统计是一个东西吗?概率(probabilty)和统计(statistics)看似两个相近的概念,其实研究的问题刚好相反。概率研究的问题是,已知一个模型和参数,怎么去预测这个模型产生的结果的特性(例如均值,方差,协方差等等)。举个例子,我想研究怎么养猪(模型是猪),我选好了想养的品种、喂养方式、猪棚...原创 2020-01-11 16:19:38 · 741 阅读 · 1 评论 -
深度学习基础---归一化,标准化,正则化的概念和区别
归一化,标准化,正则化的概念和区别转载 2019-04-09 12:41:28 · 643 阅读 · 0 评论 -
度量学习---综述
度量函数 metric learning摘自:《Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition》Apart from the techniques above, deep metric learning aims at the learningof appropriate similarity...原创 2019-05-30 20:47:11 · 17040 阅读 · 1 评论 -
机器学习基础---分类与检测的评价指标---AP,mAP,PR曲线
AP和mAP是图像分类任务中的评价方法。AP首先,AP也是对所有图片内的某一类来说的。AP的计算方法:1、首先使用训练好的模型获得所有测试样本的confideutnce score,每个类别(如person、car等)都会获得一组confidence score,假设现在共有20个测试样本,如下给出这20个样本的id、confidence score、真实标签ground truth la...原创 2019-06-04 16:01:09 · 16417 阅读 · 6 评论 -
目标检测中的常用评价指标总结
IOU是由预测的包围盒与地面真相包围盒之间的重叠区域(交集),除以它们之间的联合区域(并集),其中P代表预测框,gt代表真值框:原创 2019-06-04 16:02:36 · 1271 阅读 · 0 评论 -
机器学习中的概念---输入空间、标记空间、样本空间、假设空间、版本空间
一:输入空间/特征空间/属性空间这三个概念都是指的X,都是指的输入量二:标记空间/输出空间指的是Y,指的是输出量。(有时候,X-Y的所有映射也被当作Y,概念上有点混乱)一:样本空间样本空间的标准定义是:所有可能存在的、合理的、情况的集合。机器学习的主要工作就是寻找从属性空间(X)到标记空间(Y)的一个映射关系。说法很多,但可以认为Xi-Yi实际存在的一个组合就是一个样本,而所有...原创 2018-10-19 11:00:19 · 7731 阅读 · 0 评论 -
度量学习入门
Metric Learning——度量学习度量学习 (Metric Learning)(一)度量学习 度量函数 metric learning deep metric learning 深度度量学习度量学习(metric learning)损失函数...转载 2019-04-15 17:05:11 · 629 阅读 · 0 评论 -
分类模型评估---从混淆矩阵到ROC,AUC,GINI,KS,Lift,Gain,MSE
4.4.2分类模型评判指标(一) - 混淆矩阵(Confusion Matrix)https://blog.csdn.net/Orange_Spotty_Cat/article/details/805208394.4.2分类模型评判指标(二) - ROC曲线与AUC面积https://blog.csdn.net/Orange_Spotty_Cat/article/details/804990...转载 2019-03-06 09:31:05 · 1364 阅读 · 0 评论 -
机器学习---集成学习
集成学习(Ensemble Learning)https://blog.csdn.net/qq_32690999/article/details/78759463(该文章的内容有:个体与集成BoostingBagging与随机森林:Bagging、随机森林结合策略:平均法、投票法、学习法)机器学习模型的评估和选择https://blog.csdn.net/qq_36421826/a...原创 2018-12-02 15:47:37 · 198 阅读 · 1 评论 -
降维-PCA、SVD、流形(manilfold)与t-SNE
我们可以认为两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间向量的表示及协方差矩阵(PCA)https://www.jianshu.com/p/5163261aa3b4基变换的矩阵表示协方差矩阵对角化的物理意义及如何实现。降维算法一 : PCA (Principal Component Analysis)https://www.jianshu....原创 2018-11-28 21:18:44 · 323 阅读 · 0 评论 -
机器学习基础---分类评价指标---ROC/AUC
分类模型评估:指标 描述 Scikit-learn函数Precision 精准度 from sklearn.metrics import precision_scoreRecall 召回率 from sklearn.metrics import recall_scoreF1 F1值 from sklearn.metrics import f1_scoreConfusion...原创 2018-11-02 10:37:11 · 2226 阅读 · 0 评论 -
反卷积、上采样、上池化、子像素卷积的联系与区别
FCN于反卷积(Deconvolution)、上采样(UpSampling)https://blog.csdn.net/nijiayan123/article/details/79416764反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)https://blog.csdn.net/A_a_ron/article/details/791811...原创 2018-11-01 22:53:29 · 5972 阅读 · 0 评论 -
机器学习 ---误差理论(Error Theory)
参考文献Learning Theory(Error Theory) 学习笔记https://blog.csdn.net/kinbosong/article/details/60874007斯坦福大学机器学习——误差理论(Error Theory)https://blog.csdn.net/linkin1005/article/details/42563229?utm_source=blog...原创 2018-10-19 10:05:18 · 1413 阅读 · 0 评论 -
如何fine tuning
为什么要fine-tuning?###我们有自己的图像识别任务,然而我们的数据集太小,直接进行训练很容易出现过拟合现象所以比较好的解决方案是先在一个大数据集中训练以提取比较准确的浅层特征,然后再针对这个训练过的网络利用我们的数据集进行训练,那么效果就会好很多。这个过程就是fine-tuning。model zoo###大家都注意到了这个情况,所以(1)FeifeiLi带头创建imagen...原创 2018-09-18 21:15:47 · 1494 阅读 · 0 评论 -
目标检测之RCNN、Fast RCNN 、Faster RCNN系列
先上三者的处理步骤:RCNN: 1、提取1000-2000个(超参数)的候选框(采用selective search算法); 2、将每个候选框中的图像调整到相同的size; 3、将调整size后的图像(数量与候选框个数相同)输入CNN提取feature; 4、用SVM对每个候选框feature进行分类,判断是否属于某个特定的类(多个二分类器); 5、对于属于某一分类打候选框,用回归器进...原创 2018-09-18 16:15:49 · 992 阅读 · 1 评论 -
图像处理文章收集
记录看到的两篇好文。卷积神经网络CNN总结:https://www.cnblogs.com/skyfsm/p/6790245.html基于深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN:https://www.cnblogs.com/skyfsm/p/6806246.html深度 | 像玩乐高一样拆解Faster R-CNN:详解目标检测的实现过程...原创 2018-09-17 22:33:31 · 232 阅读 · 0 评论 -
1X1卷积核到底有什么作用
转自 https://blog.csdn.net/wonengguwozai/article/details/729808281*1的卷积核在NIN、Googlenet中被广泛使用,但其到底有什么作用也是一直困扰的问题,这里总结和归纳下在网上查到的自认为很合理的一些答案,包括1)跨通道的特征整合2)特征通道的升维和降维 3)减少卷积核参数(简化模型)部分转载自caffe.cn作用:实现...转载 2018-09-17 21:48:32 · 851 阅读 · 0 评论 -
机器学习--向量与矩阵求导
常用的向量对向量求导向量及矩阵求导运算法则https://blog.csdn.net/zhangdamengcsdn/article/details/80200059原创 2018-11-27 09:02:46 · 255 阅读 · 0 评论 -
矩阵运算规则
矩阵的运算及其运算规则http://www2.edu-edu.com.cn/lesson_crs78/self/j_0022/soft/ch0605.html原创 2018-12-01 14:52:48 · 329 阅读 · 0 评论 -
聚类算法
谱聚类算法https://zhuanlan.zhihu.com/p/29849122原创 2018-12-01 16:51:35 · 136 阅读 · 0 评论 -
机器学习基础---分类评价指标---混淆矩阵及相关的二级指标、三级指标
混淆矩阵的定义混淆矩阵(Confusion Matrix),它的本质远没有它的名字听上去那么拉风。矩阵,可以理解为就是一张表格,混淆矩阵其实就是一张表格而已。二分类的混淆矩阵以分类模型中最简单的二分类为例,对于这种问题,我们的模型最终需要判断样本的结果是0还是1,或者说是positive还是negative。我们通过样本的采集,能够直接知道真实情况下,哪些数据结果是positive,哪些结...原创 2019-03-06 09:25:53 · 7138 阅读 · 1 评论 -
损失函数---交叉熵,及tesorflow与keras中的实现
cross_entropy-----交叉熵是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。先来回顾一下信息量、熵、交叉熵等基本概念。信息论交叉熵是信息论中的一个概念,要想了解交叉熵的本质,需要先从最基本的概念讲起。一、信息量首先是信息量。假设我们听到了两件事,分别如下:事件A:巴西队进入了2018世界杯决赛圈。事件B:中国队进入了2018世界杯决赛圈。仅凭直觉来说,显而易见...转载 2019-01-24 10:30:03 · 3181 阅读 · 0 评论