ML
Frank(Zhiyang-Dou)
A Ph.D. candidate at HKU. Mainly focus on CG.
展开
-
数据的优雅加载- glob与sorted
数据加载很多时候我们使用的原始数据是基于文件夹组织。这样会有两个很大的问题:很多时候基于文件结构的数据处理(网络的上传下载)会慢很多。数据不够紧致这里记录一下自己的处理方案: pattern = os.path.join(imgs_path, '*.jpg') img_list = sorted(glob.glob(pattern)) for item i in img_list:原创 2020-10-23 16:34:05 · 969 阅读 · 0 评论 -
异构数据
关于异构数据异构数据是数据类型和格式具有高度可变性的任何数据。 由于缺少值,高数据冗余性和不真实性,它们可能是模棱两可且质量低下。一些处理三维扫描数据的工作 的输入就可以被看做异构数据。一般来说网络处理regular的data是完全可以的。但是考虑一些现实中的数据是需要考虑能够handle minibatches of hetereogenous data.定义出处:'Heterogeneous data are any data with high variability of data typ原创 2020-10-04 22:06:06 · 3637 阅读 · 0 评论 -
EM算法
一般来说,如果我们要估计一个模型参数,很多情况下极大似然估计就可以满足我们。EM出现的原因,是因为很多时候无法直接使用极大似然。网上流传比较多的例子是:男生,女生的身高各自服从自己的分布(假设是正态分布)。如果数据没有混合在一起,那么MLE直接分别对男生数据和女生数据应用即可。现在的问题是:男生女生的身高数据混合在一起了。此时该怎么办?此时,我们除了识别这两个分布各自的均值、方差我们其实还面临着一个问题这个数据是来自男生还是女生?(我们将其看作一个隐含参数)(而且这里当然也有一个鸡生蛋)下面就原创 2020-06-05 21:19:43 · 454 阅读 · 0 评论 -
PR,AP,mAP
首先是PR曲线: Precision-Recall曲线基本定义: precision和recall的含义, preicision是在你认为(模型预测的)的正样本中, 有多大比例真的是正样本, recall则是在真正的正样本中, 有多少被你找到了(预测对了)。问题核心: 我们需要一个对于score的threshold, 为什么呢? 比如在一个bounding box里, 我识别出来鸭子的s...原创 2020-03-08 14:31:51 · 616 阅读 · 0 评论 -
线性回归学习率过大 损失函数爆炸
综述机器学习的线性回归中学习率过大会发生损失函数爆炸。前提注意线性回归是一个凸优化问题,所以这是不很复杂的情况。分析一种情况是大家看到最多的,最后全部爆炸:他的原理基本可以概述入下:所以最后看上去是loss(cost)函数不断上升—爆炸:但是学习率大不一定就是爆炸的结果,可能也只是导致了收敛速度慢,而不是一直爆炸:这个里面第一次就跳过了,但是第二次跳回来后,步长没有那么长,依...原创 2019-09-27 11:08:41 · 3677 阅读 · 0 评论 -
AI-Gram矩阵与Feature Map理解与应用
综述寒假学习Gram matrix。感触比较深,ml机器学习(含dl深度学习)真的是越来越重要了,作为一个计算机专业的学生,看到了很多效果奇佳方法涌现,心里感慨万千。介绍学习资源来自网络为了简单说明Gram Matrix需要首先说明feature map:为了学习对象的feature。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特征,如:边缘、条纹等。...原创 2019-02-27 16:46:52 · 1011 阅读 · 0 评论 -
机器学习实验-Experiment 6:K-means K均值
综述主要是简略记录一下经过,当时做实验的时候,实验报告其实写的要详细很多:但是凡事要自己亲自实验才有发言权,所以这些部分写的都较为简略。k-means大家应该也很熟悉了。其实,不少人本科阶段如果数学建模玩的比较6,一些常见的聚类方法应该很熟悉了。使用K-means解决了实验问题并回答了相关问题展示了最终效果:1.推导并构建了K-means机器学习聚类模型;2.给出了具体的程序实现并进...原创 2019-02-16 21:02:45 · 533 阅读 · 0 评论 -
机器学习实验-Experiment 4:Naive Bayes朴素贝叶斯
综述主要是简略记录一下经过,当时做实验的时候,实验报告其实写的要详细很多:但是凡事要自己亲自实验才有发言权,所以这些部分写的都较为简略。朴素贝叶斯在机器学习课程中还是很重要的。思想也很美妙。看似简单、顺畅,但是一定要细心琢磨,理解本文还简单介绍了我在实验中使用的混淆矩阵。一种更加直观的评价感受方案。回忆我在实验3中介绍的ROC曲线和AUC评价,希望可以打开新的思路。使用朴素贝叶斯模型...原创 2019-02-16 20:19:52 · 903 阅读 · 0 评论 -
机器学习实验-Experiment 3: Regularization正则化
综述主要是简略记录一下经过,当时做实验的时候,实验报告其实写的要详细很多:但是凡事要自己亲自实验才有发言权,所以这些部分写的都较为简略。使用了直接法和牛顿法训练了正则化模型并完成了回答问题:1.给出训练模型,并对比了不同lamda值下训练效果的差异;2.此外,还绘制了ROC曲线,并使用AUC对学习器训练效果进行评价;【注意】AUC并不能对学习器进行过拟合效果的评价。如果需要更全面地度...原创 2019-02-16 20:08:15 · 1117 阅读 · 1 评论 -
机器学习实验-Experiment 2:Logistic Regression and Newton's Method逻辑回归和牛顿法
综述**主要是简略记录一下经过,当时做实验的时候,实验报告其实写的要详细很多:但是凡事要自己亲自实验才有发言权,所以这些部分写的都较为简略。 **该部分主要研究了逻辑回归和牛顿法的实际编程。实现了三种训练方式下的逻辑回归模型并完成了回答问题:1.使用梯度下降法完成逻辑回归模型的训练,对比了标准化对训练效率的影响;2.使用遗传算法GA完成逻辑回归模型的训练;(该部分本次不给出)3.使用牛顿...原创 2019-02-16 19:55:22 · 967 阅读 · 0 评论 -
机器学习实验-Experiment 1: Linear Regression线性回归
综述准备把机器学习的内容整理一下,课程主要来源是机器学习课程很良心的课,上课体检很棒!第一次实验之前粗略的写过,这里不再处理了(比较懒)。...原创 2019-02-16 19:45:00 · 983 阅读 · 0 评论 -
ML-matlab实现linear regression线性回归
最近在系统学习ML(机器学习)这里给出部分实验所需代码说明环境:matlab r2014bmacos代码说明:线性回归是简单的不能再简单的入门操作了,关于证明这里就不再给出了。资料很多。一元线性回归clc,clearclose allx = load('ex1_1x.dat')y = load('ex1_1y.dat')figure % open a new f i g ...原创 2018-09-28 20:14:14 · 1865 阅读 · 0 评论