searobbers_duck的博客

原创 利用OSG实现发光的效果（blooming）

详细实现可见：利用OSG实现发光的效果（blooming）

原创 shader基本图形绘制——棋盘格checkerboard

参见：基本图形——Checkerboard代码如下：//============================================================// uv.x: [-1.0,1.0]// uv.x*4.0: [-4.0, 4.0]// 以4x4的棋盘格为例，从左到右，从下到上，依次编号0(0,0),1(1,0),...,4(0,1),...,15(3,3),// 则0（0,0）格子中floor(uv.x * 4.0) + floor(uv.y * 4.0)

原创 opengl函数——smoothstep

函数接口：Tfd smoothstep(Tfd edge0, Tfd edge1, Tfd x)Tf smoothstep(float edge0, float edge1, Tf x)Td smoothstep(double edge0, double edge1, Td x)函数说明：smoothstep函数会先将x，在[edge0, edge1]的部分平滑的映射到[0,1]，小于edge0部分映射到0， 大于edge1部分映射到1。smoothstep的内部实现可以参考如下，参考GL

原创 基于光线追踪的体绘制

原创 自监督学习应用——X光图片分析

利用自监督训练X光图片分类请参见利用自监督训练X光图片分类运行环境conda create --name moco_xray --file requirements.txtconda activate moco_xray数据集ChexXpert: A Large Chest X-Ray Dataset And Competition这是一个开源的xray图片的数据集，包含了200w+的图片数据下载后的存储路径, 这里为了便于试验采用了小数据集（即xray图片的size为512x512）：

原创 Triton inference server系列(0)——相关资料整理

Triton inference server系列(0)——相关资料整理源文档：Triton inference server系列(0)——相关资料整理各release版本信息NVIDIA TensorRTnvidia的容器仓库：NVIDIA NGCContainers For Deep Learning Frameworks User GuidePulling A ContainerNGC ImagesRunning A Containernvidia的开发者blog...

原创 Triton inference server系列(3)——pytorch模型配置、挂载

Triton inference server系列(3)——pytorch模型配置、挂载

原创 Triton inference server系列(2)——pytorch 导出triton server模型

pytorch 导出triton server模型

原创 Triton inference server系列(1)——安装运行triton-server（triton-inference-server

安装运行triton-server（triton-inference-server

原创 pytorch实现moco v3

链接：MoCo_v3_pytorch参考论文：An Empirical Study of Training Self-Supervised Vision Transformers训练CUDA_VISIBLE_DEVICES=6 python main_mocov3.py -a resnet18 --lr 0.03 --batch-size 1 --dist-url 'tcp://localhost:10003' --multiprocessing-distributed --world-size 1

原创 kaggle api下载时出现网络链接问题的解决方案

kaggle api下载时出现网络链接问题的解决方案问题描述通过kaggle api下载数据时，可能会产生下面的错误。我是在使用服务器的时候，遇到这个问题的。服务器是通过代理连接网络的，代理地址为http://172.16.17.164:3128，在kaggle api安装的时候，代理地址有可能是没有设置的，因此在调用kaggle competitions download -c hubmap-kidney-segmentation下载数据的时候，就会报网络相关的错误。kaggle competiti

原创 医学图像数据增强——分割/生成训练篇

请参照链接：通用医学图像增强

原创 git add submodule添加错库应该如何删除？

git add submodule添加错库应该如何删除？参考Core Concept, Workflows And TipsHow do I remove a submodule?问题在用git引用外部库，我经常会遇到这样的问题，利用git submodule add $external_lib添加外部库之后，很难进行删除，现在给出一种亲测有效的删除的方法:解释一下, 其实只要遵循中间的步骤1.2.3.即可, 调用会删除如下三个位置的信息：调用git submodule add $ext

原创 pytorch分布式计算中遇到的坑—— GAN模型:pix2pix模型的discrimator在做torch.nn.parallel.DistributedDataParallel存在

坑1: GAN模型:pix2pix模型的discrimator在做torch.nn.parallel.DistributedDataParallel存在的问题描述参考代码：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix, 这是一份极优秀的pytorch版本的GAN代码，代码中的多卡并行还是通过nn.DataParallel实现的，代码本身是没有问题的，当我把torch.nn.DataParallel改为torch.nn.parallel.D

原创 pytorch分布式系列3——分布式训练时，torch.utils.data.distributed.DistributedSampler做了什么？

分布式训练时，torch.utils.data.distributed.DistributedSampler做了什么？试验用到的codeimport osimport sysimport torchimport torch.nn as nnimport torch.distributed as distimport torchvisionfrom torch.utils.data import Dataset, DataLoaderimport numpy as npclass

原创 pytorch分布式系列2——DistributedDataParallel是如何做同步的？

试验2: DistributedDataParallel是如何做同步的？在开始试验之前我们先说明DataParallel，当我们使用DataParallel去做分布式训练时，假设我们使用四块显卡去做训练，数据的batch_size设置为8，则程序启动时只启动一个进程，每块卡会分配batch_size=2的资源进行forward操作，当4快卡的forward操作做完之后，主进程会收集所有显卡的结果进行loss运算和梯度回传以及参数更新，这些都在主进程中完成，也就是说主进程看到看到的forward运算的结果

原创 pytorch分布式系列1——搞清torch.distributed.launch相关的环境变量

试验1：搞清torch.distributed.launch相关的环境变量试验用到的code：train.pyimport torchimport torch.distributed as distimport osimport timeprint(os.environ)dist.init_process_group('nccl')time.sleep(30)dist.destroy_process_group()试验过程在A机器上调用如下命令python -m tor

原创 自监督（self supervised）学习论文相关资料整理

自监督（self supervised）学习论文相关资料整理

原创 如何将pytorch模型转换为tensorrt能够挂载的模型

如何将pytorch模型转换为tensorrt能够挂载的模型github链接安装必要的包安装pytorch/tensorflow/onnx/onnx_tfpython环境下，为了便于安装，可以将安装镜像改为国内的镜像，具体方法参见link安装时，直接pip安装即可，以下例子中所用到的版本tensorflow-gpu==1.15,onnx_tf==1.3模型转换pytorch模...

原创 利用BERT做语义匹配

github连接启动bert服务bert-serving-start -model_dir ./model/chinese_L-12_H-768_A-12/ -max_seq_len 50qs_matching 中试验的匹配算法利用了bert-as-service提供的模型；代码中列举了如下需要匹配的类型：choice_map = { 'WHO': ['哪位?','你是哪位?...

原创 一个智能客服系统的demo

一个智能客服系统的demogithub连接:一个智能客服系统的demo实现功能打电话给候选人确认候选人是否有求职意向微信号是不是手机号运行运行环境python3编译proto, python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=. ./candidate_info.proto启动Serv...

原创 Java实现图片格式转换

本文利用java实现将jpg tiff png格式的图片统一转换为png或tiff或jpg的图片，在转换的时候会做图像的resize：代码实现如下：import javax.imageio.ImageIO;import java.awt.*;import java.awt.image.BufferedImage;import java.io.File;import java.io.IOEx...

原创 眼底图像处理1

Multiscale sequential convolutional neural networks for simultaneous detection of fovea and optic disc原文链接：Multiscale sequential convolutional neural networks for simultaneous detection of fovea and op

原创 Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classifi

Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification (多任务网络中的完全自适应特征共享及其在人属性分类中的应用 )原文链接：Fully-adaptive Feature Sharing in Multi-Task Networks with

原创 A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection 笔记

这篇paper主要是针对训练数据时，遮蔽和形变物体的数据集不一定很全面提出的，于是，想到可以用生成网络生成这种数据来进行训练。但是这种数据生成又是很困难的，作者就想到跳过生成数据，直接在Feature Map上做类似的生成。 和生成模型很类似，在Feature Map上引入Adversary去和Detector做对抗训练，训练出最终的模型。 详细的内容可参见paper： A-Fast-RCNN

原创 Intel MKL FATAL ERROR: Cannot load libmkl_avx.so or libmkl_def.so 解决方案

参考链接Intel MKL FATAL ERROR: Cannot load libmkl_avx.so or libmkl_def.so我使用的是conda安装环境的，通过如下代码解决了问题：conda install nomkl

原创 神经网络训练中图像数据预处理的一些方式(一)

神经网络训练中图像数据预处理的一些方式1. crop1. 1 对于有黑色背景的图片，将数据crop在有效区域内对于一些有黑色背景的图片，如下图：这样的图片在做数据预处理的时候，黑色背景的无效区域，带来了很大的运算量开销。面对这种图片，我们一般先将区域限制到它的有效区域。 代码如下：import numpy as npfrom skimage.filters import threshold_ots

原创 Mac上如何通过跳板机向服务器上上传大文件

Mac上如何通过跳板机向服务器上上传大文件最近的工作中，要在服务器上，做大量数据的运算。因此有了通过跳板机向服务器上传输大文件（几十G）的需求。由于需要通过跳板机，因此，scp的方法在此不适用了，需要通过rz、sz的方式。 我是通过如下两个步骤实现的： 1. 安装iterm2，然后就可以使用rz、sz进行传输了 2. 利用命令split分包 3. 上传 4. 利用命令cat再合成一个包1.

原创 服务器上安装tmux

服务器上安装tmuxhttps://github.com/tmux/tmux问题解决参考： http://isunix.github.io/blog/2016/07/12/tmux-error-while-loading-shared-libraries-libevent-2-dot-0-so-dot-5/export DIR="/usr/local"export LD_LIBRARY_PATH

原创 openwrt opkg.conf

src/gz packages http://downloads.openwrt.org/attitude_adjustment/12.09-rc2/ramips/rt305x/packages/dest root /dest ram /tmplists_dir ext /var/opkg-listsoption overlay_root /overlay

原创 如何做一款聊天机器人

如何做一款对话机器人目录前言什么是我认为的对话机器人语音助手如何去做一个像上述提到的那样的东西解释一下上述架构图如何将上述理论和实际结合呢？结论参考文献（帖子） 前言以此开题，并不是一定要做一款对话机器人，只是做事一定要以目标为驱动，目前所要研究的语义方向是一个太大的方向，是一个让人完全摸不到头脑的方向。因此，选取其中一个分支作为切入点，开始我的

原创 scrapy抓取csdn中标题带有“语义”关键字的文章的标题和链接

scrapy抓取csdn中标题带有“语义”关键字的文章的标题和链接实现步骤中文字符比对中文字符比对首先了解一下ASCII，Unicode和UTF-8： http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html 大体意思就是ASCII是单字节编码，能表示的字符有限。uni

原创 mysql sql语句的用法

mysqlsql语句是不区分大小写的，所以个人一般是直接小写的。学习过程参考下面教程，并做伴有其他查询： http://www.tutorialspoint.com/sql/sql-select-database.htm删除数据库#dbname is your database's namedrop database if exists dbname

原创 ubuntu linux下安装mysql

ubuntu linux下安装mysql查找能够安装的mysql相关的包利用下面的命令：apt-cache search 'mysql'或直接按TAB建：sudo apt-get install mysql-我得到的结果如下图所示：安装客户端client相关组件笔者用惯了windows，所以什么都习惯能看得到摸得着，所

原创 python 接受远程数据并写入数据库的相关模块

python 接受远程数据并写入数据库的相关模块以下是我开发中用到的一些知识，因为已经写得很好了，不多赘述，亲测有用。http模块http://blog.csdn.net/trbbadboy/article/details/7946448mysql数据库模块http://www.cnblogs.com/rollenholt/archive/2012/05

原创 关于Python爬虫程序scrapy的安装问题

Linux下关于Python爬虫程序scrapy的安装问题我的安装过程：sudo pip install scrapy够简单吧。 但是在运行第一个爬虫例子时scrapy crawl dmoz出现下面错误：AttributeError: 'module' object has no attribute 'Spider'解决方案如下： htt

原创 Windows/Linux下安装python的mysql客户端接口

Windows/Linux下安装python mysql利用python调用mysql，需要导入模块MySQLdbimport MySQLdb这是python针对mysql数据库的客户端的python接口，在linux下可以通过如下命令安装sudo apt-get install python-mysqlsudo pip install MySQL-python

原创 tensorflow从0开始（7）——利用tensorflow进行开发的准备工作（续1）

tensorflow开发流程——表情分析（前期准备）Cifar10程序分析为什么要做这个解读，个人看来，Cifar是一个图像多分类的经典案例。学习tensorflow以来，还没有任何实质性的进展。个人认为把Cifar问题的输入，换成其它的分类图像数据，应该也可以训练出来不同的分类模型，来对不同的图像数据集进行分类，所以先要搞清楚Cifar Demo的整个过程（关于此观点是否成立

原创 tensorflow从0开始（7）——利用tensorflow进行开发的准备工作

tensorflow开发流程——表情分析前期准备在利用tensorflow做表情分析时，需要很多处理模块进行辅助，由于对这些模块并不熟悉，因此，本文中会针对每个模块进行测试。CK+数据提取与label标识本文采用CK+作为数据库，网上可以下载到（自行google）。该数据库是一个基于视频帧的表情库。目前，我们第一版本的表情分析，利用图片作为输入，对这个表情库

原创 tensorflow从0开始（6）——保存加载模型

目的学习tensorflow的目的是能够训练的模型，并且利用已经训练好的模型对新数据进行预测。下文就是一个简单的保存模型加载模型的过程。保存模型import tensorflow as tfimport osimport numpy as npfrom tensorflow.python.platform import gfileflags = tf.a