课程
新冠可视化
作为计算机看到的是二维矩阵 希望分类,聚类或挑出来
人看到一个图像是根据高层的认知与特征,而计算机却只能根据底层的特征:不一致,有冲突
有相似的特性,但语义不同
也有不同的语义相同得概念
空间的变换,目标,让相同目标特征相似,不同特征差距大
classic
主要提取全局特征
图像特征有很多角度:
可能不全面,所以连接起来,形成更高维向量
经常做特征变换,使相似的物体距离尽可能近(一个高维特征到另一个高维特征)
优化计算速度,防止计算代价过大
局部敏感哈希
有一个学习过程的哈希,快速计算相似度
另一个应用,基于人的点击,进行调整(比如不知道苹果手机还是苹果,所以看用户点击了那些连接,进行调整)
让更喜欢的排在前面
早期只能用一个全局信息,信息过大,忽略了一些细节信息,导致判断错误
用一个高维向量表示这个文档,出现几次改单词的向量位置就标几
有大量的文章,这样就很简化,
现在以词的信息进行组织
扩展思维,能不能视觉词袋模型,2000年才突破
局部特征,离线数据库,中每一个图像都采用一个局部特征描述词,提取出特征向量,
提取很多局部特征描述词后,生成一个视觉词典,就可以把一个图像的所有视觉特征描述词,变成一个很长的(出现为出现次,不出现为0的)词袋/向量,再进行一个倒排索引,就处理好离线部分了
在线部分,就提取同样的特征,投影到词袋上,再比较哪些比较相关
中期:局部特征,找图片那些地方比较有表征力,并用特征词去描述它
可以进行匹配
再基础上搞点花活,通过不同的视觉关键词进行投票
文字:出现次数一次就是一次,n次就是n次
视觉:有只是有,级别相近,但不完全相等,----->空间关系比较近------->空间关系验证