- 博客(24)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 Ubuntu系统配置花生壳内网穿透
本文档是基于被访问主机已经安装ssh服务，并且在内网已经确定ssh可用的情况下。做的基于花生壳做的穿透配置。
2022-12-03 18:18:35
2724
1
原创 人脸相关公开数据集
1、皮肤分割和面部检测数据集 FSD（1）数据集名称：Face and Skin Detection (FSD) Database （2D图像）（2）数据集简介：The Face and Skin Detection (FSD) Database is created to support research on skin segmentation and face detection. It contains 4,000 colour images that are diverse i.
2022-01-20 15:33:33
5195
原创 深度学习分布式方案（个人笔记）
深度学习分布式方案【 关注三个问题】1、将程序改为分布式，需要改动多少代码2、分布式程序/任务要启动，程序是否复杂？3、分布式模式提升了多少运行效率？【分布式并行架构】（一）PS架构（parameter server）在Parameter server架构（PS架构）中，集群中的节点被分为两类：parameter server和worker。其中parameter server存放模型的参数，而worker负责计算参数的梯度。在每个迭代过程，worker从parameter
2022-01-20 11:51:38
7039
原创 git push的时候报错： Out of memory, malloc failed (tried to allocate 82037333 bytes)
1、查看git 的配置 。猜想是“http.postbuffer”太大。git config --list --show-origin2、修改“http.postbuffer”$ git config --global http.postbuffer 128m3、重新尝试push。已经没问题了
2021-02-22 12:10:33
2045
1
原创 使用winScp实现跳板机登陆内网服务器
使用winScp实现跳板机登陆内网服务器通常网站为了安全起见，一般会在windows登陆linux内网时设置一层跳板机作为屏障，也就是说必须先登陆跳板机，然后才能登陆到内网服务器中，进而进行操作。这里使用winscp来配置一下如何登陆：1、新建会话。配置目标内网服务器的信息。2、点击高级，进入高级配置。“”3、选择“隧道”，填写跳板机的服务器信息。4、【非必要步骤】设置验证方式，确定。5、保存。 这样，就可以通过跳板机连接到内网服务器了。全程只需要创建..
2021-02-21 13:29:02
2694
2
原创 如何利用XShell隧道通过跳板机连接内网机器
在服务器众多的企业里，通常运维会把某台机器开放外网访问权限，其他服务器通过该机器进行访问，该机器通常称之为跳板机。开发人员可以通过SSH工具访问服务器，进行日志查看、问题排查等等。这里先假设一下服务器情况，跳板机地址：220.101.5.5，内网目标服务器：192.168.100.5 。SSH开放端口都假设为22，通常就是22。工具/原料 XShell 方法/步骤总共需要创建两个会话，一个是跳板机的会话，一个是目标服务器的会话。一、跳板机会话配置1、【必要步骤】点击新建弹.
2021-02-21 13:05:00
747
1
原创 cv2.floodFill（整理中，未完成）
opencv_python 4.5.1◆floodFill()Python: retval, image, mask, rect = cv.floodFill( image, mask, seedPoint, newVal[, loDiff[, upDiff[, flags]]] ) #include <opencv2/imgproc.hpp>Fills a connected component with the given color...
2021-02-20 11:14:15
462
转载 python opencv把一张图片嵌入（叠加）到另一张图片上的实现代码
python opencv把一张图片嵌入（叠加）到另一张图片上1、背景：最近做了个烟火生成系统的界面设计，需要将烟雾图片嵌入到任意一张图片中，因此需要python opencv把一张图片嵌入（叠加）到另一张图片上的知识。（图中红框最终生成图片没有的，只是界面有这个功能）2、代码 1 resized1[global_y0:height+global_y0, global_x0:weight+global_x0] = resized0 resized0是小
2021-02-07 10:00:39
4162
1
原创 What is the difference between spark.sql.shuffle.partitions and spark.default.parallelism?
见：https://stackoverflow.com/questions/45704156/what-is-the-difference-between-spark-sql-shuffle-partitions-and-spark-default-pa
2021-02-04 16:35:16
100
转载 【转】spark shuffle：分区原理及相关的疑问
spark shuffle：分区原理及相关的疑问一、分区原理1.为什么要分区？（这个借用别人的一段话来阐述。）为了减少网络传输，需要增加cpu计算负载。数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免的，把大文件压缩变小文件， 从而减少网络传输，但是增加了cpu的计算负载。Spark里面io也是不可避免的，但是网络传输spark里面进行了优化。s..
2021-02-04 16:01:38
357
转载 【转发】dlibs face recognition原理
Machine Learning is Fun! Part 4: Modern Face Recognition with Deep LearningAdam GeitgeyJul 24, 2016·13 min readUpdate:This article is part of a series. Check out the full series:Part 1,Part 2,Part 3,Part 4,Part 5,Part 6,Part 7andPart 8! Y...
2021-02-03 17:31:36
790
原创 【YOLO v5】数据增强 设置 hyp.scratch.yaml
hyp.scratch.yaml文件中，以下部分为训练时（调用train.py）的数据增强配置项。※ 各项的值，表示应用该项数据增强的概率。值为0则表示不启用该项。hsv_h: 0 # image HSV-Hue augmentation (fraction)hsv_s: 0 # image HSV-Saturation augmentation (fraction)hsv_v: 0 # image HSV-Value augmentation (fraction)degrees: 0
2021-01-14 17:50:54
13178
6
原创 解决ImportError: Could not find the DLL(s) ‘msvcp140_1.dll‘问题
解决ImportError: Could not find the DLL(s) ‘msvcp140_1.dll‘问题刚安装好tensorflow安装包去试试import tensorflow as ft时，出现错误。错误原因：ImportError: Could not find the DLL(s) ‘msvcp140_1.dll’. TensorFlow requires that these DLLs be installed in a directory that is named.
2021-01-14 15:05:15
3437
3
原创 Google Drive 转存别人分享的文件到自己的网盘
1、先登录谷歌云盘2、在云盘里面搜索自己想要下载的资源的文件名。3、将搜索到的资源通过“复制”操作转存到自己的云盘。# 直接用谷歌云盘下载资源会很慢，甚至会经常断。这时候，我是通过“multcloud”工具将谷歌云盘的资源转存到自己的百度云盘里面，然后再从百度云盘下载。...
2021-01-07 10:31:12
20747
1
原创 损失函数总结
损失函数对于机器学习算法来说是至关重要的一环，大部分机器学习算法都是通过梯度下降来进行学习的。下降的目标就是让损失函数达到最小值。回归损失函数：回归的损失函数比较少，常见的有MSE,MAE,RMSE,也比较好理解，就是预测值和真实值直接的差距最小。分类损失函数：分类损失函数的种类比较多，常见的分类算法，logistic regression, SVM, adaboostlog损失函数（逻辑回归）：对数损失函数的标准形式为：在二分类的情况下，可以简化为：指数损失函数（adaboost）
2020-12-01 16:47:35
130
转载 Focal Loss理解
Focal Loss理解1. 总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2. 损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓.
2020-10-09 18:39:22
260
原创 visual-studio-code – 如何更改VS Code的文件排序？
visual-studio-code – 如何更改VS Code的文件排序？时间2019-03-09标签visual-studio-code栏目Visual Studio在我的项目中,我有文件标记为day1.txt,day2.txt,day3.txt等.现在在我的普通文件系统中,它们按正确的顺序列出：day1.txtday2.txt....day10.txtday11.txt在VS Code中,它们的列表如下：day1.txtday...
2020-10-09 14:47:00
13026
2
原创 图像增强（albumentations）与随机种子
通过torchvision.transforms，可实现不同batch的训练样本根据transforms设置的各种图像处理的概率我们知道，用torchvision.transforms、albumentations等库通过配置transforms pipline可以实现数据增强。根据定义的每种图像处理对应的概率，使得每个batch中，同个样本会做不同的图像处理，从而得到各种不同的变体图像。通过这样的方式，可以变相达到增加训练样本的目标，达到丰富我们的训练样本的目的。但我有个疑问，如果固定随机种子，是
2020-09-27 19:20:44
2747
3
转载 coco标注信息与labelme标注信息的详解、相互转换及可视化
coco标注信息与labelme标注信息的详解、相互转换及可视化引言在做实例分割或语义分割的时候，我们通常要用labelme进行标注，labelme标注的json文件与coco数据集已经标注好的json文件的格式和内容有差异。如果要用coco数据集的信息，就要对json文件进行修改和转换。本博客提供两种格式的具体内容及含义以及两种格式相互转换的代码，并对两种格式的json标注信息进行可视化。1.coco格式的json标注信息详解及可视化从coco官网下载coco的数据集里面，关于实例的标注信
2020-09-27 15:04:01
4906
转载 基于pytorch下使用的能同时实现增强和增量的dataloader
基于pytorch下使用的能同时实现增强和增量的dataloader主要改进功能 基于pytorch 官方的提供的data.Dataset类实现一个自己的数据加载器 该数据加载器可以实现内部真正意义上的数据增量增强(官方的数据增强只是进行图像转换但实际上的数量并没有增加) 除了支持传入数据根目录之外,还支持传入读取好的图像列表作为代替,这样的话无需在目录和路径上对数据有所限制;甚至只需要自己分别生成train和val的list分别传入就实现了不同数据集的读取,而不需要手工在根目
2020-09-27 09:44:47
819
原创 BGR转RGB方法
方法1import numpy as npimport cv2img_path = 'XXX\\10464445726_6f1e3bbe6a_k.png'img = cv2.imread(img_path)# 通道拆分-方式1（索引拆分）b = img[:,:,0]g = img[:,:,1]r = img[:,:,2]img_rgb=cv2.merge((r,g,b)) #通道的融合方法2import numpy as npimport cv2img_pa.
2020-09-24 14:43:43
1098
原创 openCV图像运算
一、图像加法运算1、img1+img2（1）某位置的像素点求和结果超过255时，和取模作为该像素点的结果2、cv2.add(img1,img2)（1）某位置的像素点求和结果超过255时，取255作为该像素点的结果二、图像加权和1、cv2.addWeighted(img1,0.6,img2,5,gamma)结果 = img1*0.6+img2*5 +gamma结果图像 = 图像1× 系数1+图像2×系数2+亮度调节量...
2020-09-24 11:38:26
219
转载 Python - IoU 计算的相关实现
Python - IoU 计算的相关实现分割和检测中涉及的一些 IoU 相关计算的代码段.1. Extract bboxes from mask从 masks 计算边界框(bounding boxes).输入：masks- [height, width, num_instances]，其中 height 和 width 为 mask 的高和宽，num_instances 为实例数(masks 数). 每个 mask 的像素值是二值的，0 或 1.输出：boxes- [num_..
2020-09-18 16:14:11
1702
原创 COCO数据集
COCO数据集概述COCO的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集。MS COCO数据集中的图像分为训练、验证和测试集。其行业地位就不再多少了，本文主要梳理一下该数据集包含的内容。下图是官网给出的可下载的数据集（更新时间2020年01月09日），从这里可看出其数据集主要包括有标注的和无标注的数据：2014：训练集 + 验证集 + 测试集 2015：测试集 2017：训练集 + 验证集 + 测试集PK的内容包括：目标检测与实
2020-09-18 14:25:10
5150
人脸数据集LaPa.tar.gz（test+val部分）
2022-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人