机器学习+数学
文章平均质量分 62
AIchiNiurou
cv
展开
-
opencv puttext 文本框填充颜色
def drawtext(image,pt1,pt2,text): fontFace = cv.FONT_HERSHEY_COMPLEX_SMALL fontScale = 1 thickness = 1 # 绘制矩形框 hei=(255, 255, 255) bai=(0,0,0) cv.rectangle(image, pt1, pt2, thickness=2, color=hei) # 计算文本的宽高,baseLine re.原创 2022-01-03 21:49:47 · 4474 阅读 · 0 评论 -
损失函数代价函数目标函数,BN,正则化,范数和范数归一化
0 深度学习中损失函数对于批次内样本的 预测值 和 真实值的 误差衡量后 目标函数 (求最小值优化)(有时会混淆 ,到底是批次样本,还是 所有样本的损失因为大多数是使用mini-batch SGD所以对应的损失函数应该是批次内的样本的损失)损失函数的分类https://blog.csdn.net/EmilyHoward/article/details/1183674952 批次归一化 Batch normalization (减均值除方差学参数)https://blog.csdn.ne原创 2022-01-02 19:29:46 · 790 阅读 · 0 评论 -
cuda CPU core 计算架构maxwell pascal volta turing
https://www.eet-china.com/mp/a42816.htmlnano maxwell 128nano开发工具https://zhuanlan.zhihu.com/p/319292104nano tensorrt 计算速度帧率yolov3tiny 25fps(416*416)注意这里使用的是Nvidia自己优化的TensorRT,而不是标准的Tensor库。Nvidia没有公布太多具体的细节,但是提到使用了kernel auto-tuning、dynamic tensor原创 2021-09-12 12:16:42 · 463 阅读 · 0 评论 -
cuda编程入门 了解
知乎推荐的学习资料入门cudahttps://face2ai.com/CUDA-F-1-1-%E5%BC%82%E6%9E%84%E8%AE%A1%E7%AE%97-CUDA/CPU架构和GPU架构 异构ALU:四核 (算术逻辑arithmetic logic unit)control:控制器cache:缓存在片上DRAM:内存总线上GPU小绿色块:ALUs,公用一组 control cache 相当于多了许多ALUs的cpu核控制能力减弱,但是计算能力提升主机代码he 设备代原创 2021-09-11 16:53:48 · 1011 阅读 · 1 评论 -
学习笔记 Unsupervised Domain Adaptive Re-Identification: Theory and Practice
文章目录0 摘要1 intro1 第一假设:协变量假设:2 第二假设:Separately Probabilistic lipschitzness:单独概率的平滑smooth:3 第三假设:权重比self-train框架2 符号定义3 假设、域自适应的可学习性定义1 协变量移位假设定义2 单独的概率平滑SPL定义3 权重比4 加强假设4.1 加强SPL 单独概率平滑4.2 加强权重比例 假设4.3 整个算法流程(a)它不需要簇的数量作为输入(b)能够避免对低置信度(c)它具有足够的可扩展性参数设置5 实验原创 2020-07-02 12:13:57 · 982 阅读 · 0 评论 -
机器学习中的最优化应用
https://live.bilibili.com/22252912文章目录分类、回归算法3 机器学习常用的优化算法分类、回归算法3 机器学习常用的优化算法原创 2020-06-28 19:37:00 · 624 阅读 · 0 评论 -
svm的简明推导hinge loss
https://www.cnblogs.com/wangxiu/p/5663140.html转载 2020-06-25 22:06:56 · 301 阅读 · 0 评论 -
细粒度特征识别
魏秀参 综述课程Feature Feature 还是Feature不变性:光照不变性,旋转不变性,相机不变性,ID不变性,近邻不变性区别性:外形、细腻特征、2012年之前全局特征不变性较差局部特征2012之后 深度向量特征用一个集合表达,怎么到向量表达pooling 损失 的motivation协方差矩阵协方差–》流行空间,测地距离...原创 2020-06-17 16:30:01 · 3153 阅读 · 0 评论 -
2020cvpr学习笔记 new
文章目录2020日程(WS&Tutorials包含一、五、日)[主页](http://cvpr20.com/)周一 6-15 Workshops Auto deep learning15 日 已更新From HPO to NAS: Automated Deep Learning周二 6-16 **Main conference**周三 6-17 **Main conference**周四 6-18 **Main conference**周五 6-19 workshop tutorials19日 im原创 2020-06-16 00:13:18 · 399 阅读 · 0 评论 -
机器学习6-20 黄教授
问题Query learning 是迁移学习,还是半监督学习?这三者之间的关系原创 2020-06-14 00:48:55 · 201 阅读 · 0 评论 -
深度学习计算机视觉 叶梓 度量学习 t-SNE降维可视化(第2章降维
github地址通过MNIST数据训练Siamese对比损失1 距离和度量学习如何让一个算法更好的学习到一种度量。K近邻、K-means,SVM,相似比对,搜索相关算法,非常依赖距离度量,来对数据执行分类、聚类、搜索。欧式、马氏(经过PCA降维A^T后的欧式度量)欧式、余弦归一化的余弦距离,归一化后向量相减就是近似夹角弧度2 非线性度量学习 和 Siamese网络3 实验MNIST 训练SIamese1 数据集MNIST生成图片. 两个相同但是顺序不同的MNIST,正例原创 2020-06-13 09:48:04 · 461 阅读 · 0 评论 -
contrast 相似性loss、Triplet loss相对相似度(对类内不适合)、Angular loss增强了尺度不变性
https://blog.csdn.net/qq_16234613/article/details/81210320Angular Loss:Deep Metric Learning with Angular Loss从角度相似性方向考虑对triplet loss,增强了其尺度不变性,并且考虑了3阶几何约束。这篇文章的逻辑推理很nice。...原创 2020-06-12 14:38:02 · 1817 阅读 · 2 评论 -
机器学习:6-12黄FaceID、Query learning semi-supervision
1 softmax loss是angular distance loss吗?为什么?softmax有类内紧致、类间分离的功能吗?2 对于FaceID的loss可以用于person reid或者vehicle reid吗?3 虽然softmax或者large margin 优化的是w和f的夹角,不是样本不同类别之间的夹角,为什么降维后可分large margin的优化目标是让权值向量W和特征向量f之间的夹角更小答案:test时,对于同类别w相等,类内都接近w故近。白线就是w对特定类别来说,假如有10原创 2020-06-11 23:56:42 · 246 阅读 · 0 评论 -
人脸或person REID等的loss的演变和发展,怎么让特征更好的嵌入超球空间
https://zhuanlan.zhihu.com/p/34404607https://zhuanlan.zhihu.com/p/34436551hardmaxsoftmaxSoftmax训练的深度特征,会把整个超空间或者超球,按照分类个数进行划分,保证类别是可分的,这一点对多分类任务如MNIST和ImageNet非常合适,因为测试类别必定在训练类别中。但Softmax并不要求类内紧凑和类间分离,这一点非常不适合人脸识别任务,因为训练集的1W人数,相对测试集整个世界70亿人类来说,非常微转载 2020-06-11 22:41:59 · 475 阅读 · 0 评论 -
L2norm对自身的模归一, batch norm:对全空间各维度channel做放缩和不等于1
L2 normnp.linalg.norm(x,2,0)#x是矩阵,2是做范数,0代表在哪一维度,0是列方向Batch norm“”"Normalize a tensor image with mean and standard deviation.Given mean: (M1,...,Mn) and std: (S1,..,Sn) for n channels, this transformwill normalize each channel of the input torch.*T原创 2020-06-04 14:26:20 · 274 阅读 · 0 评论 -
学习笔记:强化学习在机器人中的应用
学习地址1 马尔可夫决策过程价值函数和行为价值函数价值函数的递归性质随机策略、确定性策略二、算法:Policy Iteration策略迭代、价值迭代策略迭代价值迭代三 无模型强化学习Model-free RL红白机游戏...原创 2020-05-03 16:40:49 · 745 阅读 · 0 评论 -
逻辑回归交叉熵
交叉熵,下面是m个样本的交叉熵贺和y真实1,p预测,这里不用看成概率向量1,多分类才是,这里可以忽略m加1,看成将两个概率的交叉熵之和单个信息熵,p真实,交叉熵把logp换成logq逻辑回归是经过sigmoid激活函数映射成概率,再对数似然函数加负号1,变成交叉熵相对上=交叉熵-信息熵Gan交叉熵...原创 2020-05-29 01:25:36 · 474 阅读 · 0 评论 -
机器学习:邹博邹伟教学
邹博,中国科学院副研究员,天津大学软件学院创业导师,成立中国科学院邹博,人工智能研究中心(杭州站) ,在规创、天识,容客邦等公司担任技术顾问,研·究方向机器学习、深度学习、计算几何,应用于大型气象设备图像与文本挖握股票交易与预测、量子化学医药路径寻优、传统农资产品价格预测和决策等领域。 课程介绍本课程特点是从数学层面推导最经典的机器学习算法,以及每种算法的示例和代码实现(Python)、如何做算法的参数调试、以实际应原创 2020-05-30 19:50:45 · 1594 阅读 · 0 评论 -
p(x)概率分布律==概率质量函数==概率密度函数;对P(x)积分得到分布函数F(X)
原创 2020-05-29 23:35:50 · 985 阅读 · 0 评论 -
wanganji学长研究序列 triplet loss
ieee发表的文章https://www.sues.edu.cn/dd/b7/c82a187831/page.htmdomain adaptive[PDF] Analysis of representations for domain adaptation三元损失https://www.cnblogs.com/Alex0111/p/8492471.htmlTriplet loss通常是在个体级别的细粒度识别上使用,传统的分类是花鸟狗的大类别的识别,但是有些需求是要精确到个体级别,比如精确到哪个原创 2020-05-29 10:41:54 · 419 阅读 · 0 评论 -
机器学习:Gan 黄教授
问题:监督、生成模型概念Gan的生成模型和HMM、贝叶斯生成模型的区别1 train data和generator data 同分布same distribution怎么理解?是经过编码器映射后的特征空间吗从统计学的角度看generator data 和real data 同分布,学到的是z生成器fake data的分布,会不会有和完全一样的杂讯的图和real的图不同之处就是数据分布不同,比如说直方图,或者经过D编码到特征空间的分布位置??2 对数似然函数D,最大化对数似然,G,最小化D(G)原创 2020-05-29 10:22:33 · 346 阅读 · 0 评论 -
欧式定量绝对、余弦定性夹角距离相似程度。都需要先标准化到同一个量纲
在《皮尔逊相关系数与余弦相似度(Pearson Correlation Coefficient & Cosine Similarity)》一文中简要地介绍了余弦相似度。因此这里,我们比较一下欧氏距离和余弦相似度之间的区别。 首先来说一下欧氏距离(Euclidean Distance):n维空间里两个向量X(x1,x2,…,xn)与Y(y1,y2,…,yn)之间的欧氏距离计算公式是: 用矩阵表示法表示为: 再来说一下余弦相似度(Cosine Simi原创 2020-05-27 21:48:29 · 1130 阅读 · 0 评论 -
欧氏距离、规范化欧氏距离=L2normal规范化平方和/模=1、softmax归一化和=1、z-sorce标准化(变化范围0~1,和不为1
归一化和规范化使用情况1、在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,标准化(Z-score standardization)表现更好,可消除各个维度上的差异2、在不涉及距离度量、协方差计算、数据不符合正太分布的时候,可以使用归一化方法。比如图像处理中,将RGB图像转换为灰度图像后将其值限定在[0 255]的范围一、欧式、L2规范化欧氏距离、softmax归一化和=0规范化:针对数据库规范化把关系满足的规范要求分为几级,满足要求最低的是第一范式(1N原创 2020-05-27 17:45:39 · 3691 阅读 · 0 评论 -
batch的标准化:均值=1,向量模=1,值域(-1,1)
Batch Normalization 学习笔记原文地址:http://blog.csdn.net/hjimce/article/details/50866313作者:hjimce一、背景意义本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,这个算法目前已经被大量的应用,最新的文献算法.转载 2020-05-27 16:41:21 · 523 阅读 · 0 评论 -
机器学习:visualdata
第三课:5-22 CNN–Alexnet–RL问题:1 为什么两块GPU学习的第一层的kernal,分别是纹理和色彩。还有每个kernel也不是都有内容2 MSE的output是没有经过激活函数、而交叉熵cross entropy先经过softmax激活。可不可以MSE计算之前先用softmax激活归一一下3 softmax和sigmoid使用不同之处...原创 2020-05-22 10:06:11 · 297 阅读 · 0 评论 -
softmax(多标签)和sigmoid(单标签)激活函数的用法
https://baijiahao.baidu.com/s?id=1636737136973859154&wfr=spider&for=pc设计模型执行分类任务(如对胸部X光检查到的疾病或手写数字进行分类)时,有时需要同时选择多个答案(如同时选择肺炎和脓肿),有时只能选择一个答案(如数字“8”)。本文将讨论如何应用Sigmoid函数或Softmax函数处理分类器的原始输出值。神经网络分类器分类算法有很多种,但本文讨论的内容只限于神经网络分类器。分类问题可通过不同神经网络进行解决,如原创 2020-05-22 09:57:28 · 749 阅读 · 0 评论 -
机器学习:聚类(有时语境下等于降维)
无监督学习:聚类machine、algorithm、model降维 有时 等于 聚类一 目标理解相似度K-means层次聚类 的思路和方法密度聚类:DBSCAN、DensityPeak谱聚类(和PCA关系)二、距离、相似度原创 2020-05-20 23:42:21 · 131 阅读 · 0 评论 -
机器学习:提升Boost
算法发展(综合)# 样本加权原创 2020-05-20 22:16:57 · 171 阅读 · 0 评论 -
机器学习:熵和决策树
问题1 信息熵、交叉熵-plogp2 信息增益最大为下一个分类节点的理由3 log2还是ln还是log4 信息增益、信息增益率、Gini系数不同的loss的效果4 预剪枝和后剪枝(防止过拟合)原创 2020-05-20 22:11:17 · 371 阅读 · 0 评论 -
机器学习13课:SVM
概念可分SVM推导f(x)=w∗x+b,x是n维向量,w法向量,b是截距。=0是直线分割线f(x)=w*x+b,x是n维向量,w法向量,b是截距。=0是直线分割线f(x)=w∗x+b,x是n维向量,w法向量,b是截距。=0是直线分割线所以支持面是w∗x+b=−1,w∗x+b=1w*x+b=-1, w*x+b=1w∗x+b=−1,w∗x+b=1,以下3点是支撑向量学习目标:系数c、核函数系数对比调参实验选择最优分割svm计算点到直线的距离公式得到∣∣w∣∣2||w||_2∣∣w∣∣2原创 2020-05-19 17:47:17 · 163 阅读 · 0 评论 -
机器学习第一课:intro
机器学习内涵(machine指算法)原创 2020-05-19 14:50:57 · 101 阅读 · 0 评论 -
理解矩阵空间的线性变换:线性可加
理解矩阵空间的线性变换,首先要理解线性变换。之后再看矩阵和线性变换的关系。线性变换本质上是一个映射,两个线性变换之间有加法运算和合成运算。理解了线性变换之后,找一组基,可以写出这个线性变换在这一组基下的矩阵。当然,得先理解什么叫一组基下的矩阵。其实这个很好理解的,就是把基里每一个元素都做线性变换,然后把变换结果也用这组基线性表出,我们关心的就是这些系数。于是,第1个基变换后用基表出,系数写到第1列,剩下的以此类推。注意基的顺序要对应好。既然关心的是这堆系数,就可以把这堆系数写成一个表(也就是矩阵),比较.原创 2020-05-16 16:44:00 · 1566 阅读 · 0 评论 -
条件随机长CRF(condition random field)
作者:Scofield链接:https://www.zhihu.com/question/35866596/answer/236886066来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 so far till now, 我还没见到过将CRF讲的个明明白白的。一个都没。就不能不抄来抄去吗?我打算搞一个这样的版本,无门槛理解的。——20170927陆陆续续把调研学...转载 2020-05-15 23:52:27 · 334 阅读 · 0 评论 -
生成模型和判别模型的对比,懂这俩机器学习不在话下 最大熵模型
决策函数:最大熵模型最大熵模型:判别模型:构建特征和标签的映射通过计算条件熵(在已知条件下做风险最低的预测,万物熵增的规律启发)生成:HMM,BAYES一般来说,生成式模型需要非常充足的数据量以保证采样到了数据本来的面目。判别模型对数据量要求没生成式的严格。但是也要具体情况具体分析。将所有数据摸透(x,y标签)求联合分布,得到条件分布,朴素bayes、HMM。朴素在这里假设样本特征独立同分布,计算联合概率用连乘法P(xi∣yi)P(yi)P(x_i|y_i)P(y_i)P(xi∣yi)P(yi转载 2020-05-15 23:27:12 · 1378 阅读 · 0 评论 -
信息量-log2P(莫斯编码使用频繁P大的字符编码段信息量少)、信息熵:期望E=-Plog2P、两点分布交叉熵=KL散度=相对熵=-plnp-(1-p)ln(1-p)不对称、JS散度对称
一般情况是D(G)=0.5导致D_loss=-log0.5-log0.5.但是D目的是D(G)=0,进一步D_loss变大=0(分析D(art)=1,D(gan)=0,所以log(D(art)=1)=0, log(1-D(G))=log(1)=0,。。。)交叉熵loss(二元)熵是表示信息的混乱程度KL散度相对熵,但不是距离因为Dkl(p-q)不等于Dkl(q-p)JS散度,优化KL,使距离对称且值域(0,1)损失函数分开分析:设伪造的是0,后者是提升G欺骗D的损失,minG梯度下降信息量原创 2020-05-15 22:59:17 · 2007 阅读 · 0 评论 -
感知机、SVM、神经网络的区别
感知机和SVM的区别:1、相同点都是属于监督学习的一种分类器(决策函数)。2、不同点感知机追求最大程度正确划分,最小化错误,很容易造成过拟合。支持向量机追求大致正确分类的同时,一定程度上避免过拟合感知机使用的学习策略是梯度下降法;而SVM采用的是由不等式约束条件构造拉格朗日函数,然后求偏导令其为0,根据一大堆的ai参数(一直迭代到满足kkt条件为止,kkt条件是用来满足不等式约束下的拉格朗日乘子法的泛化),来最终求得w和b。神经网络,在感知机基础上增加激活函数,loss有交叉熵等...原创 2020-05-15 22:33:49 · 2187 阅读 · 0 评论 -
论文课作业
重现在论文筛选原创 2020-05-12 15:33:11 · 154 阅读 · 0 评论 -
2020年春季机器学习课程-华盛顿黄教授讲授
课程内容:CV为主的深度学法方法的介绍分类、定位、识别、分割5/8 概述机器学习原创 2020-05-08 18:33:12 · 119 阅读 · 0 评论 -
数据预处理:归一化和标准化skerlean
http://blog.csdn.net/pipisorry/article/details/52247679 本blog内容有特征预处理(标准化、归一化、正则化、特征二值化、缺失值处理)和标签label预处理(label二值化、multi-label多...转载 2020-05-02 00:50:31 · 982 阅读 · 0 评论 -
一维卷积计算过程
目录 一维Full卷积 一维Same卷积 一维Valid卷积 三种卷积类型的关系 具备深度的一维卷积 具备深度的张量与多个卷积核的卷积 参考资料一维卷积通常有三种类型:full卷积、same卷积和valid卷积,下面以一个长度为5的一维张量I和长度为3的一维张量K(卷积核)为例,介绍这三种卷积的计算过程 一维Full卷...转载 2020-04-20 10:50:17 · 5192 阅读 · 0 评论