啥都不会的硕士-CSDN博客

原创 opencvRGB 图片转化为yuv格式

RGB 格式的图片转化为yuv 格式#include <opencv2/opencv.hpp>#include<opencv2/imgproc/imgproc.hpp>#include<iostream>using namespace std;using namespace cv;int main(){ Mat img_h, img_s, img_v, imghsv; Mat Image; Mat yuvImg; Mat test_yuv; Ima

2021-07-13 16:33:28 2549

原创 python 按照四个点的坐标裁剪不规则四边形

参考连接 https://www.jianshu.com/p/f3c73fc54625代码实现import mathfrom PIL import Image, ImageDrawclass Rotate(object):def __init__(self, image: Image.Image, coordinate): self.image = image.convert('RGB') self.coordinate = coordinate self.xy = [tu

2020-08-03 15:38:20 3811

原创文件夹下的图片裁剪并按原来的图片名进行保存

Python下使用opencv 对图片进行裁剪并按原来的图片名保存import osimport cv2def file_name(file_dir): L=[] for root, dirs, files in os.walk(file_dir): for file in files: if os.path.splitext(file)[1] == '.jpg' or os.path.splitext(file)[1] == '.JPG' o

2020-07-06 11:54:27 552

原创行人计数

简介最近在做行人客流量统计方面的工作，以前也一直在做行人检测，reid，跟踪等相关的工作，所以行人计客流量统计肯定是要用到行人检测，跟踪，以及特征提取等知识点。所以做这方面也有一些积累，下面就大致介绍一下如何实现行人客流量统计的项目。行人检测行人检测这方面，可能比较熟悉的就是yolo系列了，官网上都有现成的权重文件，当然，如果要考虑到实时性，还是建议单独训练行人的检测。跟踪多目标跟踪，目前比较好的应该就是deep_sort了，yolo+deep_sort 的结合这方面的资料还是很多的。需要考虑的

2020-06-05 16:52:24 1963 5

原创 Joint Discriminative and Generative Learning for Person Re-identification

简介只是简单的论文阅读笔记，不做深入解读原理是，用一个DG-net的网络，集成了数据生成模块和reid学习模块，一个是外观代码块和一个结构代码块；外观代码用于提取行人的衣帽等特征，结构代码块用于提取行人的姿态，身材，头发颜色等的特征。输入两个图片，利用上面所说的两个模块进行特征的交换，这样就可以合成高质量的图像，实质就是利用生成的数据来进行数据的增强，然后再进行训练学习。...

2020-02-27 15:15:09 223

原创 Pedestrian Alignment Network forLarge-scale Person Re-identification

简介该论文设计了一个名为PAN的网络（pedestrain alignment networks）来对输入的图片进行对齐，并且进行分类。原理就是首先用base branch 进行特征的学习，然后用base branch 的res4的feature maps 来进行仿射变换，形成aligned image 作为输入传给alignment banch 最后也输出学习的特征，最后融合base bra...

2020-02-27 15:04:17 140

原创 Python 生成训练集的数据格式

简介一般我们在用深度学习进行训练时，首先就是把数据处理成我们想要的格式，一些分类网络的图片训练格式一般都是train.txt 里面保存这图片的路径，以及对应的label。本篇博客就来介绍一下如何用python 来生成相应的txt文件。1，准备数据首先我们要有一个数据集，这里以market1501数据集为例，该数据集是行人重识别（reid）的主流数据集，该数据集的格式如下所示：前面四位数都...

2019-12-24 17:46:21 2357

原创 opencv更改图片的尺寸

opencv更改图片的尺寸1，简介在机器学习或者深度学习中，网络传入的图片基本上都需要预处理一下，预处理中，改变图片的尺寸用的是最多的，本篇博客就介绍如何利用opencv的C++接口来进行图片的resize操作。2，图片resize#include<opencv2/core/core.hpp>#include<opencv2/highgui/highgui.hpp&gt...

2019-12-19 14:48:26 385

原创 opencv把图片序列保存为视频

opencv把图片序列保存为视频1，简介opencv不仅把一段视频抽成一帧一帧的图片，还可以把连续的图片保存为一段视频，可以很方便的满足我们的需求，下面介绍如何把图片序列保存为视频。2，opencv 把连续帧的图片保存为视频#include <fstream>#include <sstream>#include <iostream>#include...

2019-12-19 14:26:52 2694

原创 opencv 把视频保存为图片序列

opencv 把视频保存为图片序列1，简介图像处理中我们经常需要包一段视频保存为一帧一帧的图片，opencv这个开源库就能够很好的完成这个工作，因此接下来简单介绍一下如何用opencv的C++接口来完成这样的工作！2，opencv 把视频保存为图片#include <iostream>#include "opencv2/opencv.hpp"usin...

2019-12-19 14:05:42 271

原创 Tensorboard 的启动，分为本地启动和远程服务器启动

Tensorboard 的启动1，简介Tesnsorboard 作为Tesnsorflow的可视化工具，TensorBoard是Tensorflow的可视化工具，它可以通过Tensorflow程序运行过程中输出的日志文件可视化Tensorflow程序的运行状态。可以让人直观的看到在训练网络模型的过程中的状态。TensorBoard和Tensorflow程序跑在不同的进程中，TensorBoa...

2019-05-27 14:54:58 3270 2

原创 CentOS7+ARM下安装mysql8.0.15教程

CentOS7系统在安装时就会自带mariadb，是mysql的一个分支。一般我们都是在X86的机器上，运行mysql，ARM服务器由于目前的生态不如intel，所以用的不广泛。但是ARM架构的处理器，在功耗上是一个很大的天然优势，所以仍有许多人在攻坚ARM生态。本篇博客就介绍如何在ARM服务器上安装mysql。1，卸载CentOS 自带的mariadb输入以下命令：[root@master...

2019-03-22 17:19:49 11824

原创 Spark CoarseGrainedExecutorBackend的启动

1 简介CoarseGrainedExecutorBackend是Executor的守护进程，用于Executor的创建和维护。CoarseGrainedExecutorBackend在spark运行期是一个单独的进程，我们可以在运行spark的期间，用jps命令查看一下，就可以看到这个进程。2 代码流程下面我们就来看一下CoarseGrainedExecutorBackend的启动。源码版...

2019-02-27 13:57:34 1096

原创 Spark Executor的启动

1.简介上一篇博客我们讲到了Application的注册，注册完成后，需要在相应的worker上启动Executor，用来执行分发的任务。所以本篇博客我们就来了解一下Executor的启动流程。源码版本为Spark-2.4.02.代码详解在完成Worker ，Driver，Application的注册后，都会调用Schedule的方法，进入到Master的schedule的方法里面：pri...

2019-02-15 10:49:32 598

原创 Spark Application的注册

1.简介Application 一般是指我们自己编写的程序，如果我们想要在Spark环境中运行这个程序，就需要把这个程序注册到集群中，向Master进行注册。本篇博客我们主要详细讲解Application的注册过程。同样以Standalone模式，源码版本为Spark-2.4.0SparkContext做为Spark程序的入口，充当着main函数的角色，所以我们从SparkContext中开始...

2019-02-13 15:49:42 662

原创 SparkContext的初始化

1.简介SparkContext作为Spark程序的入口，相当于程序的main函数，足以说明它的重要性。官方对于SparkContext的定义是下面这样的注释：/**Main entry point for Spark functionality. A SparkContext represents the connection to a Sparkcluster, and can be...

2019-02-13 11:26:41 393

原创 Spark Driver的启动

1，简介Driver 是什么，看一下官方给的解释： The process running the main() function of the application and creating the SparkContext。意思是运行应用程序的main函数并且创建SparkContext的进程。这里的应用程序就是我们自己编写并提交给Spark集群的程序。上图是Spark程序运行的框架图...

2019-01-29 13:31:19 1945

原创 Spark Submit任务提交流程

1，简介在上一篇博客中，我们详细介绍了Spark Standalone模式下集群的启动流程。在Spark 集群启动后，我们要想在集群上运行我们自己编写的程序，该如何做呢？本篇博客就主要介绍Spark Submit提交任务的流程。2，Spark 任务的提交我们可以从spark 的官网看到，spark-submit的提交格式如下：./bin/spark-submit –class –ma...

2019-01-25 16:49:14 5482

原创 Spark 集群启动的流程

1.简介源码版本spark-2.4.0Spark 作为目前大数据处理的主流架构，吸引了不少人去学习它，本人也不例外，对Spark抱有强烈的好奇心，因此对Spark在执行我们编写的程序时，到底是怎么运行的，是我一直想要搞明白的事情。所以从本篇博客开始，我就详细的介绍Spark执行程序的流程。一方面为了巩固自己所学的知识，另一方面也是为了抛转引玉，希望能有更多的人来介绍Spark.本篇博客为本系...

2019-01-24 15:46:00 3112

原创 Spark 的shuffle流程框架以及源码详解（匠心巨作）（3）之UnsafeShuffleWriter

1. 简介Spark 的shuffle流程框架以及源码详解（匠心巨作）（1）和 Spark 的shuffle流程框架以及源码详解（匠心巨作）（2）这两篇博客介绍了SparkShuffle的发展，以及BypassShuffleWriter的源码分析。本篇博客主要解析SparkShuffleWriter三种方式中的UnsafeShuffleWriter，它还有另外的一个名字，Tungsten-Sh...

2019-01-17 14:45:16 399

原创 SparkRDMA的环境安装

SparkRDMA的环境安装简介第一步：网络环境的搭建1，查看机器是否安装Mellanox网卡2，安装Mellanox驱动1) 下载相应的驱动并编译生成支持自己机器内核的驱动2）安装驱动3, 网络配置步骤二，SparkRDMA的安装以及环境配置1，首先下载SparkRDMA的包2，编译SparkRDMA-3.1源码3，编译生成 libdisni.so 文件4，配置spark简介Spark 问世...

2018-12-12 17:11:29 1195 2

原创 Spark 的shuffle流程框架以及源码详解（匠心巨作）（2）

在 Spark 的shuffle流程框架以及源码详解（匠心巨作）（1）这篇博客中，我们详细的介绍了Spark Shuffle 的发展过程，介绍了Spark Shuffle 过程中用到的数据结构，这些都为后面讲解Shuffle 的详细流程，以及源码详解做铺垫。本篇博客主要介绍BypassMergeSortShuffleWriter 的框架以及源码详解。本文代码是基于Spark 2.3.2版本。1...

2018-11-27 17:41:15 393

原创 Spark 的shuffle流程框架以及源码详解（匠心巨作）（1）

spark 作为大数据的处理平台，因其优先使用内存资源，可以快速处理海量数据。spark 虽然号称内存计算，但是，并不是所有阶段都是在内存中完成的，spark shuffle的这一个环节是必须要写磁盘的。所以一个spark程序性能的高低，shuffle 过程有着决定性的作用。本编博客将会详细的分析spark 的shuffle过程，内容主要有以下几个方面，spark shuffle 的发展，shuf...

2018-11-26 09:47:02 759

fengshaungme的博客