_yuki__CSDN博客-python,java,redis领域博主

原创 python (协程/线程/进程) （六）小结

什么是进程进程-操作系统提供的抽象概念，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。程序是指令、数据及其组织形式的描述，进程是程序的实体。程序本身是没有生命周期的，它只是存在磁盘上的一些指令,程序一旦运行就是进程。当程序需要运行时，操作系统将代码和所有静态数据记载到内存和进程的地址空间（每个进程都拥有唯一的地址空间，见下图所示）中，通过创建和初始化栈（局部变量，函数参数和返回地址)、分配堆内存以及与IO相关的任务，当前期准备工作完成，启动程序，OS将CPU的控制权转移到新创建的进程，进

2020-08-03 14:04:13 24

原创 JWT 介绍与 Itsdangerous 简易使用（python）

JWT ( json web token ) 官网：是一个开放标准（RFC 7519），它定义了一种紧凑且自包含的方式，用于在各方之间作为JSON对象安全地传输信息。由于此信息是经过数字签名的，因此可以被验证和信任。可以使用秘密（使用HMAC算法）或使用RSA或ECDSA的公钥/私钥对对JWT进行签名一、介绍：JWT和Itsdangerous都是加密的方法，但JWT 体积小，因而传输速度快传输方式多样，可以通过URL/POST参数/HTTP头部等方式传输严格的结...

2020-07-31 16:57:55 19

原创 python (协程/线程/进程) （五）分布式进程

分布式进程指的是将Process进程分布到多台机器上，充分利用多态机器的性能完成复杂的任务分布式进程在python 中依然要用到multiprocessing 模块。multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。可以写一个服务进程作为调度者，将任务分布到其他多个进程中，依靠网络通信进行管理。例子：在做爬虫程序时，抓取某个网站的所有图片，如果使用多进程的话，一般是一个进程负责抓取图片的链接地址，将链接地址放到queue中，另外的进程负责从qu

2020-07-30 14:57:40 29

原创 python (协程/线程/进程) （四）协程

协程，又称微线程，是用户级的轻量级线程。协程拥有自己的寄存器上下文和栈，调度切换时，将寄存器上下文保存在其他地方，切回来恢复。因此，协程能保留上一次调用的状态。在并发编程中，协程与线程类似，每个协程有自己的本地数据，与其他协程共享全局数据和其他资源协程需要用户自己编写调度逻辑，对CPU来说，协程其实是单线程，CPU不需要考虑怎样调度。python 通过yield提供了对协程的基本支持，但不完全，而使用第三方gevent库是更好的选择。gevent是基于协程的python网络函数库。使用gr

2020-07-30 14:51:39 24

原创 python (协程/线程/进程) （三）线程同步

Thread对象的 Lock 和 Rlock 可以实现简单的线程同步，这两个对象都有acquire方法和release方法ps:对于那些需要每次只允许一个线程操作的数据，可以将其操作放到acquire和release方法之间。对于Lock对象而言，如果一个线程连续两次进行acquire操作，那么第一次acquire之后没有release，第二次acquire将挂起线程。这会导致Lock对象永远不会release，使得死锁 RLock (递归锁) 对象允许一个线程多次进行acquire操作，因为.

2020-07-30 14:41:04 25

原创 python (协程/线程/进程) （二）多线程

python的标准库提供两个模块：thread是低级模块 threading是高级模块，对thread进行了封装一、threading#!coding:utf-8import threadingimport time, random# 新线程执行的代码def thread_run(urls): print('Current %s in running...' % threading.current_thread().name) for url in urls.

2020-07-30 14:33:35 14

原创 python (协程/线程/进程) （一）进程间通信

python提供了多种进程通信的方式，主要两种方式 Queue用于多个进程间实现通信 Pipe是两个进程的通信一、QueuePut方法：以插入数据到队列中，他还有两个可选参数：blocked和timeout。 Get方法：从队列读取并且删除一个元素。同样，他还有两个可选参数：blocked和timeout。#!coding:utf-8# Queue有两个方法：# Put方法：以插入数据到队列中，他还有两个可选参数：blocked和timeout。详情自行百度##.

2020-07-30 14:29:35 31

原创 OpenCV (一）yoloV3 / yoloV4 对象检测

环境：python 3.6.8 opencv 4.1.2 (yoloV3) /opencv 4.4.0 (yoloV4)一、参数# 参考 python yolo_video.py --input videos/airport.mp4 --output output/airport_output.avi --yolo yolo-cocoimport numpy as npimport argparseimport imutilsimport timeimport cv2i..

2020-07-28 15:34:25 203 4

原创 TFlite (一）yolov4 / yolov4-tiny 模型转化

环境：python 3.6.8依赖：tensorflow-gpu 2.3.0rc0 opencv-python 4.1.1.26 lxml tqdm absl-py matplotlib easydict pillow步骤：Weights ---> TF ---> TFlite一、下载模型与参数yolov4.weights:下载 yolov4.cfg:下载 yolov4-tiny.weights:下载 yolov4-ti...

2020-07-27 16:38:28 127

原创 TensorRT (四）yoloV4 / yoloV4-tiny 模型转化

环境：tensorRT 6 / tennsorRT 7 Ubuntu 18.04 CUDA 10 CUDNN 7.6.3依赖：numpy 1.16.2 onnx 1.4.1 pycuda 2019.1.1一、下载模型与参数yolov4.weights:下载 yolov4.cfg:下载 yolov4-tiny.weights:下载 yolov4-tiny.cfg:下载二、Weights 转换 ONNXfrom __future__ import print...

2020-07-24 14:53:49 307 2

原创解决 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

问题：升级 TF 容易引起Failed to get convolution algorithm. This is probably because cuDNN failed to initialize解决：import tensorflow as tf#-----------------------------------------------------------------------# physical_devices = tf.config.experimenta.

2020-07-17 15:07:01 90

原创解决 Could not load dynamic library cudart64_101.dll 或 tensorflow 2.3.0 CUDA 10.0 问题

环境：python 3.6.8 tensorflow-gpu2.3.0rc0 CUDA 10.0 cudnn 7.4错误：Could not load dynamic library ‘cudart64_101.dll‘Could not load dynamic library ‘cublas64_10.dll‘Could not load dynamic library ‘cufft64_10.dll‘Could not load dynamic library ‘cur..

2020-07-16 16:25:01 239

原创解决 Could not load dynamic library libcudart.so.10.1

环境：python 3.6.8 tensorflow-gpu2.3.0rc0 CUDA 10.0 cudnn 7错误：Could not load dynamic library 'libcudart.so.10.1'; dlerror: libcudart.so.10.1: cannot open shared object file: No such file or directoryCould not load dynamic library 'libcublas.so.1..

2020-07-16 16:01:38 365

原创 Jetson Nano & TX2 （八）numba

环境：python3.6.8依赖关系：llvm >llvmlite >numba一、llvm 与 llvmlite 对应关系llvmlite of version 0.33.0, llvmlite requires LLVM 9.0.x.llvmlite versions compatible LLVM versions 0.33.0 - ... 9.0.x 0.29.0 - 0.32.0 7.0.x, 7.1.x, 8.0.x ...

2020-07-09 15:39:53 97 4

原创 Python 二维码（黑白、彩图、动图）

环境：anaconda3 / python3依赖：MyQR ---- 安装：pip install myqr模块参数：from MyQR import myqrversion, level, qr_name = myqr.run( words, # 内容 version=1, # 控制边长，范围是1至40，数字越大边长越大； level='H', # 控制纠错水平，范围是L、M、Q、H，从左到...

2020-07-02 11:48:45 50

原创 NVM 基于 HTTP 文件服务器(简易)

一、构建并进入目录mkdir share_dircd share_dir二、构建会话screen -S my_session # 对应 share_dirps: screen 使用可以看前面博客：地址三、安装http-servernpm install http-server -gps: npm 是安装nodejs 自带的，可以看前面博客：地址四、运行服务器# --cors ：Authorization 应付跨越http-ser...

2020-06-12 18:25:07 75

原创 screen 简易使用

创建：screen -S u_share_name # u_share_name : 自定义名查看有多少会话：screen -ls恢复：screen -r u_share_name # u_share_name ：上面自定义名ps:如果不能恢复：screen -d u_share_name # 先执行screen -r u_share_name # 后执行删除：screen -S u_share_name -X quit # u_sh...

2020-06-12 18:05:37 51

原创 NVM 简易安装使用（Ubuntu 、Liunx版）

一、nvm介绍nvm是一个node版本管理器，类似与Python中的Anaconda、virtural-env。二、安装nvm的github仓库：地址选其一即可：curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.35.3/install.sh | bashwget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.35.3/ins...

2020-06-12 17:53:32 128

原创 Win10 安装 cython-bbox

pip install cython-bbox错误：cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp”error: command ‘D:\programs\vision studio 2015\VC\BIN\x86_amd64\cl.exe’ failed with exit status 2ERROR: Failed building wheel for cython-bbox解决方法：1、把依赖包下载下来2、解压文件3、找到steup...

2020-06-11 16:58:51 237

原创 Jetson Nano & TX2 （七）Scipy、Scikit-image

问题：no lapack/blas resources found解决：一、必须的组件sudo apt install liblapack-devsudo apt install libblas-devsudo apt install gfortran二、安装pip install scipy

2020-06-09 14:13:11 167

原创 Python 对 CPU、GPU、Mem、Disk 资源状态的监控 (简易)

import psutilimport GPUtilclass pcInfo: @staticmethod def GetGpuInfo(): gpulist = [] # GPUtil.showUtilization() # 获取多个GPU的信息，存在列表里 Gpus = GPUtil.getGPUs() for gpu in Gpus: # print('gpu.id:',.

2020-05-22 11:35:11 150

原创 OpenCV 截取指定区域、黑化背景、透视转换

一、cv2.warpAffine()放射变换函数，可实现旋转，平移，缩放；变换后的平行线依旧平cv2.warpAffine(src, M, dsize, dst=None, flags=None, borderMode=None, borderValue=None) --> dstsrc：输入图像 dst：输出图像M：2×3的变换矩阵dsize：变换后输出图像尺寸flag：插值方法borderMode：边界像素外扩方式borderValue：边界像素插...

2020-05-21 18:31:04 93

原创 Jetson Nano & TX2 （六）Tensorflow

一、基础依赖系统：$ sudo apt-get update$ sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev liblapack-dev libblas-dev gfortran更新pip3:$ sudo apt-get install python3-pip$ sudo pip3 install -U pip testresources setup

2020-05-19 14:49:26 136

原创 Raspberry Arm 架构 wheels 支持

每次装机都要下载编译，如果没半点存货真的麻烦？那怎么解决呢？暂时只提供 Python 3.4 / 3.5 / 3.7 的一些 wheels ，没找到还是老实编译安装吧一、查找所需包是否有wheelspiwheels:地址二、快速安装方法：1）method one--- 找到 pip.conf:[global] extra-index-url = https：//www.piwheels.org/simple--- pip 想要...

2020-05-18 15:50:14 57

原创 Jetson 查看CPU、内存、GPU使用情况

官方新推出jtop工具，专门用来查看jetson的CPU、GPU等信息，使用方法也很简单安装方法:sudo -H pip install jetson-stats使用方法，直接在命令行输入:sudo jtop就会有显示输出:其他用途：ControlsTo control the your NVIDIA Jetson are available this keyboard commands:In page3 MEM:cClear cache s...

2020-05-18 14:11:44 834

原创 Jetson Nano & TX2 （五）pytorch

针对 aarch 官方给出 pytorch 安装：地址

2020-05-06 14:08:48 166

原创解决：tensorflow have no attribute enable_eager_execution()

导致报错，你的tensorflow版本为多少呢？如果为2.0 或 2.0 以上，那么请看下文：2.0版本移除了直接调用 enable_eager_execution() 的方式。原因：新版本将 enable_eager_execution()放入了 compat.v1 内部。整理：# tensorflow >= 1.5tf.compat.v1.enable_e...

2020-04-20 13:01:34 1017

原创解决：Please use tf.compat.v1.Session instead.

环境：tensorflow >=1.14错误：WARNING:tensorflow:From /Users/yuki//tf_test/test1.py:4: The name tf.Session is deprecated. Please use tf.compat.v1.Session instead.错误分析：为了使TensorFlow在2.0版中更...

2020-04-19 16:48:23 911

原创解决：'Tensor' object has no attribute 'numpy'

环境tensoflow >= 1.4制造错误：import tensorflow as tfm = tf.keras.metrics.Accuracy()m.update_state([1, 2, 3, 4], [1, 2, 3, 4])print('Final result: ', m.result().numpy()) 错误：Attribut...

2020-04-19 16:38:39 1859

原创 Jetson Nano & TX2 （四）Opencv 4.1

环境：ubuntu 18.04 python 3.6一、相关编译工具sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev二、OpenCV (主角...

2020-04-13 15:18:58 448

原创 TensorRT (三）yoloV3 / yoloV3-tiny onnx 转 tensorRT

环境：tensorRT 6 Ubuntu 18.04 CUDA 10 CUDNN 7.6.3前面的文章用的 tensorRT 7 为何换用 6 ？主要用 tensorRT 7 调用会报错，但查询官网文档是有该API:（无奈暂时只能这样）engine.serialize()一、数据化处理 data_processing.py（可修改 #!!!!!!...

2020-04-10 16:44:43 747

原创 TensorRT (一） Ubuntu 安装配置

环境：Ubuntu 18.04 CUDA 10 CUDNN 7.6.3 TensorRT 7一、下载tar包TensorRT官方：地址二、解压tar包$ tar xzvf TensorRT-7.x.x.x.<os>.<arch>-gnu.cuda-x.x.cudnn7.x.tar.gz-其中 6.x.x.x is y...

2020-04-09 16:44:19 219

原创 PIP 源至清华、阿里镜像

阿里源地址为：https://mirrors.aliyun.com/pypi/simple清华源地址为：https://pypi.tuna.tsinghua.edu.cn/simple临时使用：可以在使用pip的时候加参数 -ihttps://pypi.tuna.tsinghua.edu.cn/simple例如：pip install -ihttps://py...

2020-04-09 14:32:59 374

原创解决：src/cpp/cuda.hpp:fatal error: cuda.h

在.bashrc中，如下修改：vi ~/.bashrcexport CUDA_ROOT=/usr/local/cuda-10.0 export PATH=$CUDA_ROOT:$CUDA_ROOT/bin:/usr/local/bin:$PATH生效bash ~/.bashrc#source ~/.bashrc

2020-04-09 14:23:59 119

原创 TensorRT (二）Python3 yoloV3 / yoloV3-tiny 转 onnx

环境: python3.6 /anacoda cuda10.0 cudnn7.６.4一、所需的包pip install numpy #1.16.1 如果你有tensorflowpip install onnx==1.4.1pip install pycuda==2019.1.1pip install Pillow==...

2020-04-09 13:18:29 541 1

原创 COCO 2017 darknet 训练（三）

一、数据目录结构# 数据集目录结构└── VOCdevkit └── VOC2020 ├── Annotations │ ├── 20190615163323424.xml │ ├── .......还有很多xml ├── ImageSets │ └── Main #...

2020-03-30 15:47:43 163

原创 COCO 2017 自定义 darknet 训练集（二）

一、具备数据与依赖包数据：地址依赖包：地址二、VOC 转 XML （Train集）例如：转换instances_train2017 ，instances_val2017 雷同from pycocotools.coco import COCOimport osimport shutilfrom tqdm import tqdmimport skimage.io...

2020-03-26 18:24:14 200

原创 pycocotools Win10 安装 COCO API

coco api 官方：地址我的环境：VS2019 python3.7两种安装方法：一、pip 方式安装：（最好源码安装）pip install pycocotools二、源码方式安装：---（不使用coco官方的）下载：git clone https://github.com/philferriere/cocoapi涉及的依赖：...

2020-03-26 11:46:58 237

原创 Python 生成与使用 requirements.txt

方法一：适用范围：适用于单虚拟环境，因为这种方式，会将环境中的依赖包全都加入使用的全局环境，则下载的所有包都会在里面，不管是不时当前项目依赖的pip freeze > requirements.txt方法二：（推荐）适用范围：解决方法一的难题# 安装pip install pipreqs# 在当前目录生成pipreqs . --encoding...

2020-03-24 15:36:02 36

原创 Python Flask 高并发部署（简易）

一、安装geventpip install gevent二、修改 flask#! -*- coding:utf-8 -*- from flask import Flask, jsonifyfrom gevent.wsgi import WSGIServer #关键这个 app = Flask(__name__) #这里的json使用中文key@app.route("...

2020-03-24 15:06:02 860