2020年07月_TracelessLe

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创使用Visdom可视化工具初体验

前言Visdom是Facebook专门为PyTorch开发的一款可视化工具，支持传入的数据类型有NumPy和Tensor。我们可以用它来做网络训练或者其他数据展示的前端可视化页面。官方给出的效果图如下：安装需要 Python 3 环境，需要提前安装依赖（1）通过pip安装，稳定版，可能不支持最新的一些功能和特性。pip install visdom（2）通过源码安装从github上下载源码后安装。pip install -e .如果上述命令出错，可以尝试下面命令：easy_i

2020-07-30 21:48:58 985

原创 FFmpeg的log日志打印控制（命令行或Python）

前言在使用FFmpeg处理音视频时，这个工具会默认自动在命令行窗口打印log日志信息。如下所示：很多时候我们可能在实际应用中并不需要这个打印的信息，特别是在音视频批量任务处理时，过多的打印信息可能会刷屏或者造成输出堵塞。另外打印操作也是需要耗时的。于是我们考虑关掉它或者只打印关键信息。思路通过查看FFmpeg官网，可以看到，直接通过传参“-loglevel”可以控制log的输出。可供选择的选项如下：loglevel is a string or a number containing one

2020-07-30 21:09:55 5081 2

翻译 Python字节转换（Bytes conversion）

发现一个好用的Python函数，用于将字节Bytes转为易于人阅读的量级格式，包括KB/MB/GB/TB等：def bytes2human(n): # http://code.activestate.com/recipes/578019 # >>> bytes2human(10000) # '9.8K' # >>> bytes2human(100001221) # '95.4M' symbols = ('K', 'M',

2020-07-30 20:12:44 1628

原创 PyTorch中CNN网络参数计算和模型文件大小预估

前言在深度学习CNN构建过程中，网络的参数量是一个需要考虑的问题。太深的网络或是太大的卷积核、太多的特征图通道数都会导致网络参数上升。写出的模型文件也会很大。所以提前计算网络参数和预估模型文件大小很重要。网络参数计算先定义好网络结构，然后统计网络参数。网络定义以LeNet-5为例，参考之前的博客《PyTorch构建网络示例：LeNet-5》，网络结构设计代码如下：import torchfrom torch import nnimport torch.nn.functional as F

2020-07-24 19:26:50 5723 4

原创 Ubuntu下x264库编译安装

在使用FFmpeg时可能需要用到H264编解码器，Ubuntu上可能需要额外安装。1. 下载x264库git clone https://code.videolan.org/videolan/x264.git或者在CSDN资源共享上点击下载。2. 编译配置./configure --disable-asm --enable-shared --enable-pic3. 开始编译make4. 安装make install其实就是移动了库文件、可运行文件的位置。参考资料：[1] f

2020-07-22 20:54:53 4708

原创 Python使用psutil获取系统性能信息

前言psutil是Python上的一个用于获取系统运行的进程和资源利用率等信息的跨平台库，使用它可以很方便的在Python环境下获取系统信息从而进行相应操作。安装LinuxUbuntu / Debian:sudo apt-get install gcc python3-devpip3 install psutilRedHat / CentOS:sudo yum install gcc python3-develpip3 install psutilIf you’re on Pyth

2020-07-18 18:01:28 838

原创 Python多进程multiprocessing --- 基于进程的并行

前言在Python中，multiprocessing 是一个用于产生进程的包，它具有与用于产生线程的包threading相似的API。 multiprocessing 包同时提供本地和远程并发，使用子进程代替线程，有效避免了Python中GIL锁????（ Global Interpreter Lock ）带来的影响。通过它能充分利用机器上的多核，加快处理速度。注：最新内容移步官网查看，本文仅对个人使用过程中的一些体会作记录和注解。multiprocessing核心模块Process 类在

2020-07-18 16:54:45 2260

原创 Python使用pynvml查看GPU信息

前言NVIDIA为自己家的显卡提供了NVML（英伟达显卡管理库）和构建在其上的nvidia-smi(显卡系统管理界面)，用户可以很方便的在系统命令窗口查询显卡信息和当前工作状况。在Python中同样可以利用相应的package实现以上功能，这个好用的package就是pynvml库，可以通过它来获取NVIDIA显卡信息。安装直接通过pip安装：pip install nvidia-ml-py或者根据所使用的python版本安装对应包：pip install nvidia-ml-py2

2020-07-17 12:54:17 3671

原创 Ubuntu上安装ffmpeg

简易安装方式安装sudo apt-get install ffmpeg版本查看ffmpeg -vffmpeg version 3.4.6-0ubuntu0.18.04.1 Copyright (c) 2000-2019 the FFmpeg developers built with gcc 7 (Ubuntu 7.3.0-16ubuntu3)卸载此卸载方法只适用于刚刚那条极简安装指令，如果通过其他方法安装，该指令不适用sudo apt-get purge ffmpeg以上.

2020-07-15 16:17:47 20605 9

原创 git常用命令小结

拉取最新数据 git pull列出所有分支git branch #本地git branch -a #所有，包括本地和远程切换到远程分支remote_branchgit checkout remotes/origin/remote_branch 切换到本地分支local_branchgit checkout local_branch 添加修改文件到缓存区git add . 添加说明git commit -m “说明“ 提交git push #.

2020-07-14 18:22:54 474 1

原创【冷知识】Python的List最多能容纳多少个元素？

答案32位的平台（Python）下List最多能有2**31-1个元素，64位的平台（Python）下List最多能有2**63-1个元素。溯源Python最原始的实现是CPython，即用C实现的Python。对于Python中的List元素最多能容纳多少个元素，肯定还得从底层规范上去溯源。先找到Python的List Objects说明：注意看高亮的地方：Py_ssize_t。根据这段描述Py_ssize_t PyList_Size(PyObject *list)Return

2020-07-11 10:56:57 4161 1

原创 Python使用内置heapq获取topk

需求：通过使用heapq获取给定列表中最大/最小的前k个数值的位置索引代码：#功能：获取给定列表中最大/最小的前k个数值的位置索引import heapqvalue_list = [7, 9, 2, 3 ,19, 21, 90, 10, 4, 1, 101]k = 5#topk或bottomk的kk_large_index=list(map(value_list.index, heapq.nlargest(k, value_list)))#最大的k个k_small_index=list

2020-07-09 18:36:31 464

转载 Python的assert（断言）函数

Python assert（断言）用于判断一个表达式，在表达式条件为 false 的时候触发异常。断言可以在条件不满足程序运行的情况下直接返回错误，而不必等待程序运行后出现崩溃的情况，例如我们的代码只能在 Linux 系统下运行，可以先判断当前系统是否符合条件。语法格式如下：assert expression等价于：if not expression: raise AssertionErrorassert 后面也可以紧跟参数:assert expression [, argume

2020-07-07 10:48:59 5890

原创 PyTorch函数之torchvision.transforms.ToTensor()和Normalize()

最近处理图像经常用到以下部分操作：import torchvision.transforms as transformstransform.ToTensor()transform.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))一般采用OpenCV读取到的图片像素点单个通道的值域范围为[0,255]。ToTensor()能够把范围从[0,255]变换到[0,1]之间。Normalize()则把值域范围从[0,1]变换到[-1,1]。具体而言，对每个通道Normal

2020-07-06 20:15:28 2060

原创使用Python打开webp等格式图片

问题今天处理图片的时候发现有一张后缀为.jpg的图片在电脑上无法打开，但是使用Chrome浏览器能打开，尝试用OpenCV读取，但是也无法打开。仔细查看了OpenCV支持的图片格式：Windows bitmaps - *.bmp, *.dib (always supported)JPEG files - *.jpeg, *.jpg, *.jpe (see the Notes section)JPEG 2000 files - *.jp2 (see the Notes section)Porta

2020-07-04 18:11:22 4883 7

原创 PyTorch使用tensorboard显示网络运行情况

PyTorch使用tensorboard可以显示网络运行情况，和TensorFlow的tensorboard使用很类似。均需要安装tensorboard包。pip install tensorboard==1.15.0导入：from torch.utils.tensorboard import SummaryWriter指定log路径：log_dir = './run_logs'self.writer = SummaryWriter(log_dir)写入到log：self.writer

2020-07-02 16:25:26 1275

原创 Python对图片进行翻转（使用PIL）

from PIL import ImagePicPath = "./pic.jpg"img = Image.open(PicPath)out = img.transpose(Image.FLIP_LEFT_RIGHT) #水平翻转# out = img.transpose(Image.FLIP_TOP_BOTTOM) #垂直翻转# out = img.rotate(45) #45°顺时针翻转newname = "./pic_fli

2020-07-01 17:01:36 8253

转载 ubuntu的shell终端显示图片

采用lsix插件来显示文件夹下的图片缩略图，除了支持本地shell窗口显示外，还支持远程访问时显示。lsixlsix使用ImageMagick，在大多数Linux发行版的默认已经安装，ubuntu18.04就系统自带。若没有，则先安装它。sudo apt-get install imagemagicklsix不需安装，只需下载并将其移至$PATH即可。从项目的github页面下载最新的lsix：wget https://github.com/hackerb9/lsix/archive/mas

2020-07-01 15:54:13 2586