hfutyfl802-CSDN博客

原创 Deep Global-Relative Networks for End-to-End 6-DoF Visual Localization and Odometry阅读笔记

文章是在《Deep Auxiliary Learning for Visual Localization and Odometry》这篇文章的基础上改进的，目前这篇文章还没看，先把他的改进版看了，总是感觉怪怪的。进入正题，Deep Global-Relative Networks for End-to-End 6-DoF Visual Localization and Odometry这篇文章...

2019-11-18 18:52:18 474

原创 HOOF（Histogram of Oriented Optical Flow）特征

看微表情识别的相关论文，总会提到各种手工特征，HOOF就是其中一种。HOOF特征全称Histogram of Oriented Optical Flow，出自09年的一篇论文Histograms of Oriented Optical Flow and Binet-Cauchy Kernels on Nonlinear Dynamical Systems for the Recognition o...

2019-09-28 10:28:23 3043

原创 A weighted feature extraction method based on temporal accumulation of optical flow for MER阅读笔记

文章的主要观点是：微表情的处理中，从视频序列得到光流的过程中，由于微表情的运动比较小，容易受到噪声干扰，从而得到不准确的光流，另外，由于微表情的运动只发生在脸部的一小部分区域，所以之前将所有脸部区域给与同等权重的做法是不合理的。基于上述观点，作者根据相邻两帧图片中的人脸的运动方向是一致的，而噪声的方向是随机的，所以，将相邻几帧得到的光流进行累加，这样就会消除大部分干扰。比如说，一段有L帧图片的...

2019-09-26 15:21:04 364

原创 Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition阅读笔记

文章主要的贡献：提出了一个Enriched Long-term Recurrent Convolutional Network (ELRCN)来进行表情识别。和其他大多数文章一样，作者先从数据上下功夫，从数据里提炼出相关物理量，第一个便是光流（好像也只有光流）。得到一个关于光流的3维的矩阵，关于光流这里就不介绍了，网上有好多文章，写的都挺好的。文章把对微表情的特征学习分为空间学习和时间学习。...

2019-09-26 09:41:38 1107 2

转载深度学习-样本类别不均衡的处理方法

参考人家的博客，原文地址：https://blog.csdn.net/qq_16236875/article/details/98115231两个方面： 1 数据抽样，2 从算法角度出发，考虑不同误分类情况代价的差异性对算法进行优化。1-1 欠采样：随机采样1-2 过采样：smote 算法SMOTE算法: 即合成少数类过采样技术，它是基于随机过采样算法的一种改进方案，由于随机过采样采取简单...

2019-09-24 15:16:25 972

原创 FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks 阅读笔记

网上关于这篇文章的讲解很多，下面就列上一个以作参考，在这里多谢这位作者了。http://www.360doc.com/content/18/0612/08/32196507_761621325.shtml其实这篇文章和flownet1.0本质上没太大区别，就是组合小的网络，然后再进行训练方法上的改变。网络结构如下，写这篇博客主要是自己费时近一个月终于复现出来flownet里的flownet...

2019-09-24 11:14:41 312

原创 Micro-expression Analysis by Fusing Deep Convolutional Neural Network and Optical Flow阅读笔记

文章的主要内容包括三步：1，使用多任务学习网络进行人脸关键点定位，划分人脸区域。2，使用卷积网络得到每个区域的光流，使用的是flownet2.0。3，对得到的光流进行修正来改善得到的特征，最后用SVM进行分类。具体的：1，人脸关键点定位文章使用的多任务深度卷及网络参考的是这篇文章《Facial landmark detection by deep multi-task learning...

2019-09-24 10:35:18 428 1

原创 A Compact Embedding for Facial Expression Similarity 阅读笔记

A Compact Embedding for Facial Expression Similarity文章的主要贡献是提出了一个更贴近人的视觉偏好的简约空间，来描述面部表情。最后，得到一个16维度的特征。文章认为，表情的分布不是完全符合语义特征，For example, smiles can come in many subtle variations, from shy smiles, to...

2019-09-23 17:25:39 1425

原创《Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions》论文笔记

文章主要贡献：1，提出一个STRCN模型，来解决MER问题，这是第一次在MER问题上，考虑到时空变形；2，提出两种对视频的STRCN在时间维度的连接，不但考虑了空间信息，还考虑了时间信息。3，我们设计了一种数据加强策略，极大地丰富了训练样本，采用了一个balanced loss，来简化不平衡的训练。文章的framework:Framework主要分为三步：空间和时间处理，临时连接和时空...

2019-09-23 15:08:47 1260 2

原创关于光流的几个函数

1.cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params) 用于获得光流估计所需要的角点参数说明：old_gray表示输入图片，mask表示掩模，feature_params:maxCorners=100角点的最大个数,qualityLevel=0.3角点品质,minDistance=7即在这个范围内只存在一个品质最好的角点...

2019-07-10 15:09:34 570

原创 numpy里的reshape()函数

今天翻之前课程做的程序，当时为了应付作业没理解的透彻。今天又看了一下，上reshape函数的定义numpy.reshapenumpy.reshape(a, newshape, order=‘C’)[source]Gives a new shape to an array without changing its data.Parameters: a : array_likeArray ...

2019-07-06 19:05:08 689

原创验证dlib库：人脸关键点标定

上一篇已安装dlib库，接下来要验证一下调用里面的函数是否可行。参考博文地址https://blog.csdn.net/gaoyueace/article/details/79592444#encoding=utf-8import cv2import dlibdef main():PREDICTOR_PATH = “shape_predictor_68_face_landmarks.d...

2019-07-05 19:30:21 540

原创安装dlib库

1，激活进入自己的tensorflow 库2，输入命令 conda install -c menpo dlib=18.18执行这个命令是我在已经安装了anconda以后执行的，而且menpo这个库也已经装好了，过程会有点久，会下载一些packages，如上图，最后会提示输入y，然后会继续下载和提取一些packages，如下图3，之后我输入了pip install dlib，但是...

2019-07-05 16:43:04 448

原创论文MicroExpSTCNN 和 MicroExpFuseNet学习笔记

1，文章的主要贡献1,>提出了一个能同时提取视频里的表情 spatial and temporal features来进行分类的MicroExpSTCNN模型。用这个模型都达到了最好的表现2>提出了一个两分支的MicroExpFuseNet model来提取眼睛和嘴巴区域的特征3>在3D-CNNs的基础上，在中间和后期混合了嘴巴和眼睛的特征进行实验4>用salien...

2019-06-17 20:30:57 954 5

原创论文A Main Directional Mean Optical Flow Feature for Spontaneous Micro-Expression Recognition学习笔记

<MDMO特征用于自发的微表情识别>学习笔记1论文创新点提出了一种A Main Directional Mean Optical Flow Feature来进行自发的微表情识别背景简介面部表情在社会生活中能提供丰富的信息，宏表情就是平常的表情一般会持续0.5到4s，因而容易被人来识别出来。而微表情是由内心的的真实情感流露所表现出来的。宏表情的在计算机视觉领域技术识别已经取得了不...

2019-06-12 15:45:41 1492 7

hfutyfl802的博客