![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识分享
全员鳄鱼
中科院北京某所憨憨学生
展开
-
VSCODE debug 配置文件
先把interpreter(左下角调整至需要的环境)点击左侧debug,配置debug文件,一般选current file即可想要添加参数通过"args",格式是"A", “B”。A=参数key,B=参数value原创 2021-06-17 15:07:58 · 838 阅读 · 1 评论 -
记录一些常用的SQL语句
SQL指的是?Structure Query Language提取数据?SELECT更新数据?UPDATE删除数据?DELETE插入新的数据?INSERT INTO如何从”Persons“表中选取”FirstName “列SELECT FirstName FROM Persons如何从 “Persons” 表中选取所有的列?SELECT * FROM Persons如何从 “Persons” 表中选取 “FirstName” 列的值以 “a” 开头的所有记录?SELECT *.原创 2021-04-15 11:23:18 · 301 阅读 · 0 评论 -
linux/服务器使用scp将一个服务器文件转移到另一个服务器上
scpscp用于将文件/目录在不同服务器上进行复制转移格式:scp -可选参数 本地文件/目录 用户名@IP地址:远程保存位置常用可选参数-r 递归整个文件夹,当复制文件夹时使用-v 显示进程详情,能够查看过程是否有异常-C 允许压缩。(将-C标志传递给ssh,从而打开压缩功能)-p 保留原文件的修改时间,访问时间和访问权限-P 设置端口样例1.从本地服务器文件夹复制转移到另一台服务器scp -r /home/Projects/ABC SunXiaochuan@172.11.44原创 2021-03-27 13:14:36 · 11379 阅读 · 4 评论 -
tensorboard ValueError: Duplicate plugins for name projector
背景突然,tensorboard的运行出现这个bug:tensorboard ValueError: Duplicate plugins for name projector字面意思就是有重复插件,大概是之前单独装了tensorboard,然后用conda装了一个tensorflow 2.0,结果又重复装了一个不同版本的tensorboard解决打开位置:/home/用户名/miniconda3/envs/lowlight/lib/python3.7/site-packages正常应该显示 :原创 2021-03-23 19:53:16 · 629 阅读 · 0 评论 -
MIT-Adobe FiveK Dataset的使用(RAW转换成JPG)
MIT-ADOBE FiveK是一个包含5000张图片的一般用作与图像增强任务的配对数据集。其中input是DNG格式,一种RAW格式。输出是TIFF格式,并且由5位不同的PS专家进行修饰,一般的,都选择专家C的结果。数据集网址:https://data.csail.mit.edu/graphics/fivek/体积较大,共有约50个G(主要是因为相机RAW格式文件体积太大)使用NOTE THAT: 在项目WHITE_BOX中特别讲解了如何使用LIGHTROOM批量地对所有图片进行格式转换,本原创 2021-03-23 11:42:02 · 4078 阅读 · 2 评论 -
Pytorch单机多卡/并行训练 torch.nn.DataParallel()
直接整代码吧import torchmodel = xx # 确定好你的modelmodel = torch.nn.DataParallel(model.cuda(), device_ids=[0,1,2])#lossloss= XXLOSS.cuda()请注意:如果你输入的是torch.nn.DataParallel(model)是不对的,要先将model经过.cuda()放进GPU里面,再放进DataParallel!device_ids=[0,1,2]是设定在哪些GPU上进行并原创 2021-03-18 22:31:58 · 690 阅读 · 2 评论 -
Linux/服务器下的基于python的FFMPEG安装
目前由于大家基本都用的anaconda,所以建议通过anaconda安装conda install FFmpeg然后确定即可原创 2021-03-18 14:34:04 · 759 阅读 · 0 评论 -
Overleaf/Latex:表格过宽/太长怎么办?
使用overleaf写表格时候,报出了BUG,显示表格过长使用简单的缩放指令即可将表格长度进行控制,只要修改\scalebox{0.7}{}中的数字即可修改比例\begin{table*}[!ht]\scalebox{0.7}{ \begin{tabular} ... \end{tabular}}\caption{}\end{table*}...原创 2021-03-12 13:23:40 · 29328 阅读 · 2 评论 -
Linux/服务器环境下安装指定版本opencv/cv2
啥也别说了,直接访问清华源的关于opencv的下载地址:opencv找到适配自己的环境的文件下载后,把文件拖入服务器,执行pip install 文件名.whl即可完成安装如果中途出现问题,看看是不是自己的pip版本不够高。升级:python -m pip install --upgrade pip或者是目前系统不能安装.whl文件,这个的继续百度一下子就好了...原创 2021-03-07 18:22:45 · 1492 阅读 · 0 评论 -
Linux/服务器环境安装MiniConda
为什么装miniconda而不是anaconda?没啥,就是miniconda比较小,完整性也大差不差,所以建议直接装miniconda即可。Note that:miniconda类似简化版安装步骤直接访问miniconda下载页面我下载的是最新Python 3.8 Miniconda3 Linux 64-bit下载文件后缀为.sh将文件拖入服务器后,使用bash指令(就是运行的意思):bash 文件名.sh安装开始,同时会有很多提示给你看,当然大家都不看,然后就一直往下,有时候要看清楚原创 2021-03-07 17:47:54 · 1665 阅读 · 0 评论 -
Python:关于类class、函数def、import和from...import的实际操作
当你自己要写一个完整的工程文档时,你需要能对文档中的各个.py文件正确引用同文件中的函数def和类class这里有一个print_test.py,里面包含了:先让我们分析一下:第一行是一个直接运行的print函数print123()和print789()是自定义函数print456是一个自定义类,里面包含了一个printfunction()函数,而且此函数里面还调用了print123()函数最下方是本文件的运行函数,而且里面也有一个print函数当我们直接运行本文件时,输出是什么呢:原创 2021-01-28 14:33:46 · 9216 阅读 · 1 评论 -
PIP报错:cannot import name ‘FormatControl‘
from:https://blog.csdn.net/weixin_43506858/article/details/104515951具体操作为:进入https://pypi.org/project/pip/19.1.1/#files 网站,然后下载好放到linux里面,执行:python setup.py install...原创 2020-12-28 22:40:53 · 648 阅读 · 0 评论 -
关于PRelu:Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
前言内容是经典激活函数PRelu的提出内容上图左为Relu,右图为PRelu,P相比传统Relu,在坐标系左边有数值。用公式解释:当ai=0时,成为Relu;当ai是一个小且固定的数值,则变成Leaky Relu(ai=0.01),LRelu的motivation是为了防止零梯度,即坐标轴左侧有数值。但是在一些研究上,显示LRelu对于精度的影响微乎其微。Prelu相比Relu只增加了一丁点参数,模型大小上几乎没有任何影响。在相同的结构A下Prelu比Relu效果好...原创 2020-11-28 14:32:40 · 327 阅读 · 0 评论 -
ColorNet: Investigating the importance of color spaces for image classification
总结这是一篇讨论不同颜色空间(color space) 对于分类任务(classification)精度影响的文章。文中介绍了RGB、LAB、YCrCb、HSV、CIE等等不同的颜色空间,在单一颜色空间上进行分类任务使用LAB颜色空间精度最高文中做了实验,证明同一个任务使用不同的组合的颜色空间数据集能够提升精度,即某些特定的颜色空间能够更好地表示某些特定的图像内容网络模型使用晚期融合,即先在不同的颜色空间上进行训练,到最后再融合实验多是在CIFAR数据集上进行;使用scikit库进行颜色空间转原创 2020-10-22 10:43:45 · 453 阅读 · 0 评论 -
神经网络调参:loss震荡过于明显/loss剧烈抖动
前言在训练网络的时候,常常会出现loss出现非常明显的剧烈抖动情况,虽然大多数情况可以继续训练下去,但是实际上还是预示着问题存在。而且,有不同维度的问题,这也需要不同的解决方法,但是具体究竟是哪一种,还得具体情况具体分析。无过拟合是否找到合适的loss函数:在深度学习里面,不同的loss针对的任务是有不同的,有些loss函数比较通用例如L1/L2等,而如perceptual loss则比较适合在图像恢复/生成领域的任务上。当loss出现问题的适合,想一想,是不是loss设置的有问题,别人在此领域的任原创 2020-09-24 21:46:19 · 56218 阅读 · 8 评论 -
nohup指令让工程文件可以在后台运行而不受shell关闭连接的影响
前言当我们跑任务的时候,往往时间非常久,如果此时出了某些问题,导致shell关闭了连接,那等于之前训练会中断,如果代码中没有保存的功能,则直接训练的都没有用了。使用nohup指令就是为了让工程.py文件在后台运行,而不受shell断开连接的影响nohup使用nohup,英文是no hang up的缩写,即不要挂断。我们通过建立一个小的文件来测试:vim test.py # 创建文件import timex = 0while x>=0: print(x) time.sleep(1)原创 2020-09-22 19:50:40 · 313 阅读 · 0 评论 -
本地浏览器访问tensorboard或者tensorboardX
在程序中使用了tensorboard之后,在相对应的文件夹使用tensorboard --logdir=./log,当然此时你tensorboard记录的是./log文件夹。之后出现:TensorBoard 1.13.1 at http://xxxx-group:6006 (Press CTRL+C to quit)不需要xshell使用隧道进行连接,直接在本地浏览器中输入:172.18.3x.xxx:6006即可访问tensorboard...原创 2020-09-05 21:52:14 · 528 阅读 · 0 评论 -
解决cuda版本不一致以及安装不同版本cuda的方法
主要参考自:https://baijiahao.baidu.com/s?id=1663920145053509733&wfr=spider&for=pchttps://www.cnblogs.com/laosan007/p/12612446.html原创 2020-09-03 20:01:04 · 3866 阅读 · 0 评论 -
Linux:stat cuda的使用/确定cuda的软链接
在/usr/local/的位置下使用命令:stat cuda,可以查看cuda文件夹具体软链接到哪个cuda文件夹上,主要作用是确定cuda具体使用的是哪个版本。如在我的服务器上使用,则出现以下文字: 文件:'cuda' -> '/opt/cuda-8.0' 大小:13 块:0 IO 块:4096 符号链接设备:811h/2065d Inode:2105708 硬链接:1权限:(0777/lrwxrwxrwx) Uid:( 0/原创 2020-09-03 19:48:15 · 1526 阅读 · 0 评论 -
Python:glob与os.listdir
import osfrom glob import glob想要获取文件夹目录下的文件,可以用这两个方法,os.listdir(path)和glob(path + ‘*.某格式’)os.listdir(path):得到path下的全部文件列表,列表中没有路径的!glob(path + ‘*.某格式’):得到path下某个格式的全部文件列表,例如*.png是获取所有png图片,获取的是带有路径文件的列表...原创 2020-08-22 21:03:16 · 2016 阅读 · 0 评论 -
Linux:解决linux每次打开新终端都要重新source ~/.bashrc问题
执行以下代码:vi ~/.bash_profile有可能此文件是空白新建的,无所谓。然后在此文件末尾加入:if [ -f ~/.bashrc ];thensource ~/.bashrcfi然后:wq保存即可。此时打开新终端可以自动执行source ~/.bashrc原创 2020-08-20 13:08:56 · 6047 阅读 · 6 评论 -
Python:ffmpeg修改视频分辨率
前言在训练和测试视频的时候,以及使用opencv打开视频的时候,经常会发现速度特别的慢,这是为什么?很大原因是视频本身的分辨率太高。所以使用ffmpeg统一修改视频的分辨率大小,能够给我们的某些任务提高效率。代码代码要在视频所在位置进行输入,否则的话-i后面的视频名称要加上path才行。ffmpeg -i Fighting_001.mp4 -vf scale=320:240 Fighting_001_320x240.mp4 -hide_banner其中,-vf scale=320:240是修改原创 2020-08-19 16:37:25 · 3373 阅读 · 0 评论 -
Linux:安装PyQt4与PyQt5
关于pyqt的安装自己搜了不少,感觉都是非常复杂,尤其是pyqt4的安装,多的不说了,非常复杂。如果是pyqt5的安装,可以直接用:conda search pyqt # 查看pyqt版本,一般兼容的最低都是5.6.0# 确定需要的版本号之后conda install pyqt=5.6.0 # 举例即可完成pyqt的安装。至于pyqt4的安装,如果之前了解过的应该也是知道非常复杂,但是今天突然搞到了一个非常简单的指令即可安装,但是不确定能够保证兼容,试试再说吧。conda install原创 2020-08-19 14:30:29 · 1661 阅读 · 0 评论 -
Linux:du指令,查看当前文件夹大小
使用du -sh可以查看当前文件夹占用大小,可以查看数据集以及中间处理数据的大小。du常用的选项:-h:以人类可读的方式显示-a:显示目录占用的磁盘空间大小,还要显示其下目录和文件占用磁盘空间的大小-s:显示目录占用的磁盘空间大小,不要显示其下子目录和文件占用的磁盘空间大小-c:显示几个目录或文件占用的磁盘空间大小,还要统计它们的总和–apparent-size:显示目录或文件自身的大小-l :统计硬链接占用磁盘空间的大小-L:统计符号链接所指向的文件占用的磁盘空间大小du -l原创 2020-08-18 17:09:37 · 1704 阅读 · 0 评论 -
Linux:xshell6终端ls无颜色解决
前言上次解决了终端名等没有颜色的问题,现在发现ls指令也没有颜色,现在尝试使用ls指令在xshell上也会有颜色修改先cd到用户主目录下cd ~然后vim 修改.profile文件vim .profile添加并保存:if [ -f "$HOME/.bashrc" ];then. "$HOME/.bashrc"fi再修改.bashrc文件vim /.bashrc添加并保存: alias ls='ls --color'最后将重新source一下即可...原创 2020-08-17 19:35:50 · 2110 阅读 · 0 评论 -
视频特征提取:C3D/Learning Spatiotemporal Features with 3D Convolutional Networks
总结3D conv在之前并没有广为盛行于视频处理领域。作者认为,相比会丢失时间信息的2D conv,3D conv非常适合时空特征学习(即针对视频),下图是2D conv和3D conv的区别。作者使用基于3x3x3的3D conv的带有全连接层的深度卷积神经网络对视频进行特征提取,同时验证了3x3x3的3D conv性能相对其他大小的3D conv更优秀。并且,训练好的C3D可以作为优秀的特征提取器,能够提取输入视频的特征,用作在其他任务上。作者认为,一个优秀的视频描述符应该有四个指标:通用原创 2020-08-13 11:59:31 · 3501 阅读 · 0 评论 -
Jypyter Notebook 修改主题、颜色与字体
前言默认notebook的字体实在是太小了,而且不太好看,使用jupyterthemes更换主题、颜色与字体安装jupyterthemespip install jupyterthemes选择主题可列出已有主题,共有9个jt -lAvailable Themes: chesterish grade3 gruvboxd gruvboxl monokai oceans16 onedork solarizedd solarizedl通过原创 2020-08-11 22:02:41 · 2347 阅读 · 0 评论 -
Linux:xshell6终端主机名和用户名等文字不显示颜色问题解决
前言一直使用的xshell都是只有单一颜色的,但是其实是可以设置xshell根据不同文字类型设置不同的显示颜色的。原因是因为我自己的.bashrc文件中少了一部分代码,现在将其补全。.bashrc代码补全在linux下,使用$ vim ~/.bashrc,打开文件。然后确认里面是否有这么一段话:通过观察其他帖子,大家的文件中都有这么一段话,并且force_color_prompt=yes是被注释掉的,这时候只需要将注释给去掉,然后重新source ~/.bashrc既可如果~像我一样,文件中原创 2020-08-10 21:00:26 · 1991 阅读 · 0 评论 -
环境安装:使用theano后端的keras1.1.0安装
前言keras可以使用tensorflow和theano两个后端进行运行,本文介绍如何安装基于theano(1.0.2) 后端的keras(1.1.0)安装创建conda虚拟环境$ conda activate -n keras python=3.5-n 是虚拟环境的名字;python=指定了python版本,由于师兄机子使用的环境是python3.5我也没有选择其他版本的python,新版本python可能安装不了1.1.0的keras,请注意!此时需要再激活一下环境:$ conda原创 2020-08-06 18:04:45 · 1007 阅读 · 3 评论 -
Python:分类时究竟使用sigmoid还是softmax?探究sigmoid和softmax的应用区别
直截了当,不谈公式:Sigmoid=>多标签分类问题=>多个正确答案=非独占输出举例:如胸部X光检查可能同时存在两种病症Softmax=>多类别分类问题=>只有一个正确答案=>互斥输出(所有概率总和为1)举例:手写数字识别,鸢尾花分类参考:https://www.sohu.com/a/321563936_100118081...原创 2020-08-03 23:52:40 · 793 阅读 · 0 评论 -
Python:numpy.around()和numpy.repeat()
前言最近在做一个小测试,由于数据的获取原因以及为了方便检测,需要将已有开源模型进行一些修改,分别是:对模型输出的numpy数据进行确定精度操作,即限制输出为小数点后几位测试需要的是(32, 4096)格式的数据,目前拥有的是(1, 4096),为方便测试,直接将已有数据进行复制两个函数均对numpy.array数据进行操作numpy.around()确定输出精度numpy.around(a, decimals=0, out=None)decimals确定保留几位小数,当为负数时,则对小数原创 2020-08-03 18:25:20 · 775 阅读 · 0 评论 -
Pytorch学习:图像分类入门!使用CIFAR-10数据集,完整地创建深度神经网络进行训练、测试并保存和读取
1. 导入Pytorch以及相关包本文使用pytorch=1.5.1+cuda10.1import torchimport torch.nn as nnimport torch.nn.functional as Fimport torchvisionimport torchvision.transforms as transformsimport torch.optim as optimimport time,ostorch.nn是torch.nn.functional中torchv原创 2020-07-16 13:38:43 · 4162 阅读 · 3 评论 -
知识分享:美颜算法原理
转载链接为:https://blog.csdn.net/hahabeibei123456789/article/details/94592172美颜大致上可以分为两块:美白和磨皮。如果玩过Photoshop的都知道其实美颜其实就是四大步:1.用具有保边效果的滤波算法对图像进行模糊处理。2.用肤色检测算法保护非皮肤区域。3.将模糊后的图像和原图进行图像融合。4.对融合后的图像进行锐化处理。对于步骤1,滤波算法可以选择双边滤波,导向滤波,表面模糊等,只要能保边缘就行,有人说高斯模糊是不行的,但事实上只做美转载 2020-07-15 17:22:53 · 1797 阅读 · 0 评论