qq_41168327的博客

原创 Multivariate time series forecasting via attention-based encoder–decoder framework

摘要：时间序列预测是研究时态数据行为和预测未来值的重要技术，广泛应用于空气质量预测、电力负荷预测、医疗监测和入侵检测等领域。在本文中，我们首先提出了一种新的时间注意编解码模型来处理多元时间序列预测问题。它是一种端到端的深度学习结构，集成了传统的编码上下文向量和时间注意向量，用于联合时间表示学习，它基于双向长短期记忆网络(双LSTM)层，以时间注意机制为编码网络，自适应地学习多变量时间数据的长期相关性和隐藏相关性特征。在五个典型的多元时间序列数据集上的大量实验结果表明，与基线方法相比，我们的模型具有最好的预

原创 numpy加速

python 运行效率低，这对于有些任务不太友好，特别是大量的数据处理任务，如何提高数据处理的效率，本人有几点体会。1、尽量使用 numpy 进行处理，比如数组不要用 list 创建，而是用 np.array创建2、尽量使用 numpy 自带函数进行处理，比如计算数组a的长度，用 a.shape[0]，而不是 len(a)3、尽量避免 numpy 和 Python 自带的语法混合编程，如尽量少用 list，dict 等数据结构4、尽量避免循环，特别是多重循环5、如果循环不可避免，则循环形式尽可能接

转载 R语言数据集

Package Item Title csv ...

原创 HIGH-DIMENSIONAL ROBUST REGRESSION AND OUTLIERS DETECTION WITH SLOPE 论文翻译

高维背景下的异常点检测和稳健回归问题是统计学中的基础问题，有很多应用。在最近的一系列工作中，提供了同时进行稳健回归和异常值检测的方法，本文考虑一个高维情形下具有个体截距的线性回归模型。我们介绍了一种新的同时估计线性回归系数和截距的方法，使用了两个专用的分类L1惩罚，也称为斜率[5]。我们发展了一个完整的理论来解决这个问题：首先，我们给出了单个截距向量和回归系数的统计估计误差的上界。其次，我们给出了...

原创 AIC 和 BIC

此处模型选择我们只考虑模型参数数量，不涉及模型结构的选择。很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。人们提出许多信息准则，通过加入模型复杂度的惩罚项来避免过拟合问题，此处我们介绍一下常用...

原创 目标检测 之 Mask R-CNN

整体结构图：创新点： 对RoI做出改进并提出了RoIAlign 针对像素点偏移的问题，使用了双线性插值来更精确地找到每个块的对应特征 总的来说，RoI Align的作用主要就是剔除了RoI Pooling的取整操作，并且使得为每个RoI取得的特征能够更好地对齐原图上的RoI区域。 可以方便的扩展到其他任务，比如人的姿态估计 等； 不借...

原创 目标检测 之 RetinaNet（Focal Loss for Dense Object Detection）

目标检测的派系：这种鱼(speed)与熊掌(accuracy)不可兼得的局面一直成为Detection的瓶颈。作者认为单阶段的精度差在于单阶段检测器中类别不平衡，负样本比例远远大于正样本，占据样本中多数，影响网络的优化。1、什么是“类别不平衡”呢？详细来说，检测算法在早期会生成一大波的bbox。而一幅常规的图片中，顶多就那么几个object。这意味着，绝大多数...

原创 目标检测 之 FPN( Feature Pyramid Networks for Object Detection)

卷积普遍会遇到一个问题：原始图像经过卷积神经网络后下采样一定倍数后，有一些小像素物体在特征图上会消失，导致无法被检测出。 上图(a)是处理这类问题最常用的方法，即特征金字塔，这种方法在传统的手动设计特征的方法中非常常用，例如DPM方法使用了接近10种不同的尺度获得了不错的效果。 上图(b)是在CNN提出之后出现的，因为神经网络模型对物体尺度本身有一定的鲁棒性，所以也取得了...

原创 目标检测 之 R-FCN

Region based Fully Convolutional Network（R-FCN）主要解决以下两个矛盾：图像分类：要求图像具有平移不变性（translation invariance）目标检测：要求图像具有位置敏感性（translation variance）转换不变性（translation invariance）和转换可变性（translation varia...

原创 目标检测 之 SSD

SSD，全称Single Shot MultiBox DetectorSSD具有如下主要特点： 从YOLO中继承了将detection转化为regression的思路，一次完成目标定位与分类 基于Faster RCNN中的Anchor，提出了相似的Prior box； 加入基于特征金字塔（Pyramidal Feature Hierarchy）的检测方式，即在不同感受...

原创 目标检测 之 YOLO v1

1、YOLO V1的流程这张图，诠释了YOLO V1的运行过程：1.输入一张图，然后Resize到448 x 448；2.然后输入到CNN中（文中叫darknet）；3.输出结果，经过后处理，包括NMS，得到结果（框和类别）；Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测，整个系统如上图所示：首先将输入图片resize到448x448...

原创 Outlier Detection for Robust Multi-dimensional Scaling 论文翻译

一、摘要在本文中，我们介绍了一种基于几何推理的检测和过滤异常值的技术。我们测试由三个点组成的三角形的有效性，如果不满足三角形不等式，则将三角形标记为断开。1 INTRODUCTION多维比例缩放（MDS）是数据分析和信息可视化中的一个基本问题.MDS将包含元素xi之间的所有对距离的距离矩阵D作为输入，并将元素嵌入到d维空间中，以成对的距离 Dij 由 ||xi-xj|| 尽可能地...

原创 目标检测 之 Faster R-CNN

Faster R-CNN可以简单地看做“区域生成网络(RPN)+Fast RCNN“的系统，用区域生成网络代替Fast R-CNN中的Selective Search方法。整体架构： ...

原创 目标检测之SPP-Net

总体结构：在R-CNN中，候选区域需要进过变形缩放，以此适应CNN输入，那么能不能修改网络结构，使得任意大小的图片都能输入到CNN中呢？作者提出了spatial pyramid pooling（SPP）空间金字塔结构来适应任何大小的图片输入。R-CNN和SPP-Net的处理过程spatial pyramid pooling（SPP）层 加在最后一个卷积层与全连接层之间，目...

原创 目标检测之R-CNN

R-CNN框架简要步骤:(1) 输入测试图像(2) 利用选择性搜索Selective Search算法在图像中从下到上提取2000个左右的可能包含物体的候选区域Region Proposal(3) 因为取出的区域大小各自不同，所以需要将每个Region Proposal缩放（warp）成统一的227x227的大小并输入到CNN，将CNN的fc7层的输出作为特征（将ROI输入到...

原创 目标检测之Fast-RCNN

简要流程： 输入一张待检测图像（输入是224×224的固定大小图片） 提取候选区域：利用Selective Search算法在输入图像中提取出候选区域，并把这些候选区域按照空间位置关系映射到最后的卷积特征层； 经过5个卷积层+2个降采样层（分别跟在第一和第二个卷积层后面） 进入ROIPooling层（其输入是conv5层的输出和region proposal，...

原创 多维缩放(Multiple Dimensional Scaling, MDS)

主要思想是构造低维空间的内积矩阵，使得该内积矩阵中所表达的任意两点之间的距离与高维空间的相应两点距离相等，然后通过对该内积矩阵进行正交特征值分解，析出两个矩阵相乘(即矩阵与矩阵的转置进行相乘)的形式，获得最终的变换矩阵。...

原创 目标检测之选择性搜索-Selective Search

目标检测之选择性搜索-Selective Search目录一 选择性搜索的具体算法（区域合并算法）二 保持多样性的策略1、颜色空间变换2、区域相似度计算三 给区域打分四 选择性搜索性能评估 1、单一策略评估 五、代码实现  在基于深度学习的目标检测算法的综述 那一节中我们提到基于区域...

转载 【CV中的Attention机制】并行版的CBAM-BAM模块

前言：之前介绍了CBAM模块，可以方便的添加到自己的网络模型中，代码比较简单容易理解。CBAM模块的实现是通过先后施加通道注意力和空间注意力完成信息的提炼。今天介绍的这篇文章也是来自CBAM团队，可以理解为空间注意力机制和通道注意力机制的并联，但是具体实现与CBAM有较大差别，虽然代码量相对而言比较大，实际表达的内容并不复杂。1. BAMBAM全程是bottlenect attention...

转载 ResNeXt网络结构

转自：https://blog.csdn.net/u014380165/article/details/71667916论文：Aggregated Residu...

原创 目标检测基础知识

1.目标检测的基本思路：同时解决定位（localization）+识别（Recognition）。　　多任务学习，带有两个输出分支。一个分支用于做图像分类，即全连接+softmax判断目标类别，和单纯图像分类区别在于这里还另外需要一个“背景”类。另一个分支用于判断目标位置，即完成回归任务输出四个数字标记包围盒位置(例如中心点横纵坐标和包围盒长宽)，该分支输出结果只有在分类分支判断不为“背...

转载 卷积操作后特征图大小计算

一，卷积操作若图像为正方形：设输入图像尺寸为WxW，卷积核尺寸为FxF，步幅为S，Padding使用P,经过该卷积层后输出的图像尺寸为NxN： 若图像为矩形：设输入图像尺寸为...

原创 CNN经典模型

感谢https://blog.csdn.net/xu_fu_yong/article/details/92848502

原创 pytorch中transforms 的二十二个方法

1. 裁剪——Crop中心裁剪：transforms.CenterCrop随机裁剪：transforms.RandomCrop随机长宽比裁剪：transforms.RandomResizedCrop上下左右中心裁剪：transforms.FiveCrop上下左右中心裁剪后翻转，transforms.TenCrop2. 翻转和旋转——Flip and Rotation依概率 p 水平翻...

原创 深度学习优化算法集锦

原创 用于卷积神经网络的注意力机制(Attention)----CBAM: Convolutional Block Attention Module

用于卷积神经网络的注意力机制(Attention)----CBAM: Convolutional Block Attention Module主要思想：对于一个中间层的feature map：, CBAM将会顺序推理出1维的channel attention map 以及2维的spatial attention map, 整个过程如下所示：其中为element-wise multipli...

原创 RNN、LSTM、GRU

RNN在循环神经网络(RNN)中，神经元的输出在下一时刻是可以传递给自身的，可以对时间序列建模。很多任务的时间序列信息很重要，即一个样本中前后输入的信息是有关联的。样本出现时间顺序信息对语音识别、自然语言处理等问题很重要，所以对于这类问题，可以使用循环神经网络(Recurrent Neural Network)来对其建模。先看上图左侧部分，x、s、o都是向量，分别表示输入层、隐藏层和输出层的...

转载 PyTorch 学习笔记（三）：transforms的二十二个方法

本文截取自《PyTorch 模型训练实用教程》，获...

原创 pytorch 线性回归

shuffle(list) 方法将list的所有元素随机排序。返回值为None,直接改变list的顺序注意：shuffle() 是不能直接访问的，需要导入 random 模块，然后通过 random 静态对象调用该方法。yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，调用 fab(...

原创 Pytorch基础学习

构造不做初始化的矩阵： x = torch.empty(shape，dtype)构造随机初始化的矩阵： x = torch.rand(shape)，返回 [0,1)之间的均匀 分布的一组张量,不需要指定类型x = torch.randn(s...

原创 机器学习算法的优缺点

SVM（支持向量机）SVM的优点：1.在高维中表现良好。在现实世界中有无限维度(不仅仅是2D和3D)。例如，图像数据、基因数据、医学数据等具有更高的维数，支持向量机在这方面是有用的。基本上，当特征/列的数量较多时，SVM表现良好。2.类可分离时的最佳算法（当两个类的实例可以通过直线或非线性轻松分隔时）。为了描述可分离的类，让我们举个例子（这里以线性分离为例，通过绘制抛物线等，类也可以是非线性...

原创 TensorFlow2.0 进阶

拼接：通过 tf.concat(tensors, axis)，其中 tensors 保存了所有需要合并的张量 List，axis 指定需要合并的维度堆叠： tf.concat（） 直接在现有维度上面合并数据，并不会创造新的维度若希望创建一个新的维度，则需要使用 tf.stack( ) 操作。但tf.stack( )需要所有的合并张量完全一致；使用 tf.stack(tensors, axis)...

原创 Tensorflow2.0 基础

Tensorflow中所有的运算操作都是基于张量对象进行的TensorFlow 中的基本数据类型，它包含了数值型、字符串型和布尔型数值类型：1、标量(Scalar) 单个的实数，如 1.2, 3.4 等，维度数(Dimension，也叫秩)为 0，shape 为[]2、向量(Vector) n 个实数的有序集合，通过中括号包裹，维度数为 1，长度不定，shape 为[????]3、矩阵(Mat...

原创 OpenCV 第八章 目标跟踪

OpenCV 第八章 目标跟踪8.1 检测移动的目标利用帧差异1.将第一帧设置为输入的背景，对每帧进行灰度转换和平滑滤波操作2.将后续读取的帧计算与背景的差异，得到差分图3.对差分图进行二值化和膨胀，然后在差分图中找轮廓cv2.getStructuringElement( )这个函数的第一个参数表示内核的形状，有三种形状可以选择。矩形：MORPH_RECT; 交叉形：MORPH...

原创 OpenCV 第七章 目标检测与识别

7.1.1 HOG描述符方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。 它通过计算和统计图像局部区域的梯度方向直方图来构成特征。梯度主要存在于边缘的地方。具体的实现方法是：首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些...

原创 OpenCV 第六章 图像检索以及基于图像描述符的搜索

6.1 特征检测算法OpenCV中最常使用的特征检测和提取算法有：1.Harris: 该算法用于检测角点2.SIFT: 该算法用于检测斑点(blob)3.SURF:该算法用于检测斑点4.FAST:该算法用于检测角点5.BRIEF:该算法用于检测斑点6.ORB:该算法代表带方向的FAST算法与具有旋转不变性的BRIEF算法通过以下方式进行特征匹配：*暴力匹配法*...

原创 OpenCV 第六章 图像检索以及基于图像描述符的搜索

6.1 特征检测算法OpenCV中最常使用的特征检测和提取算法有：1.Harris: 该算法用于检测角点2.SIFT: 该算法用于检测斑点(blob)3.SURF:该算法用于检测斑点4.FAST:该算法用于检测角点5.BRIEF:该算法用于检测斑点6.ORB:该算法代表带方向的FAST算法与具有旋转不变性的BRIEF算法通过以下方式进行特征匹配：*暴力匹配法*...

原创 OpenCV 第五章 人脸检测和识别

5.2 获取Haar级联数据OpenCV使用一些XML文件，用于人脸、眼睛、鼻子、嘴等的跟踪，可检测静止图像、视频和摄像头所得到的图像5.3.1 静态图像中的人脸检测创建一个CascadeClassifier一个级联分类器,负责检测face_cascade = cv2.CascadeClassifier(‘用于检测的XML文件的路径’)faces = face_cascade.det...

原创 OpenCV 第四章 深度估计与分割

4.2 捕获深度摄像头的帧深度图：它是灰度图像，该图像的每个像素值都是摄像头到物体表面之间距离的估计值。比如，CAP_OPENNI_DEPTH_MAP通道的图像给出了基于浮点数的距离，该距离以毫米为单位。点云图：它是彩色图像，该图像的每种颜色都对应一个 (x、y或z)维度空间。比如，CAP_ OPENNI POINT_ CLOUD_ _MAP通道会得到BGR图像，从摄像头的角度来看,B对应x ...

原创 OpenCV 第三章 使用OpenCV3处理图像

3.1 不同色彩空间的转换计算机视觉中三种常用的色彩空间：灰度、BGR、HSV3.2 傅里叶变换3.2.1 高通滤波器(HPF)高通滤波器(HPF)是检测图像的某个区域，然后根据像素与周围像素的亮度插值来提升该像素的亮度的滤波器核：一组权重组合，滤波器中的所有值加起来为0ndimage.convolve()实现图片与核的卷积操作#(11, 11)表示高斯矩阵的长与宽都是11，标准差...