我也要用- 博客(61)
- 论坛 (2)
- 收藏
- 关注
RSS订阅原创 Centos7.5 minimal系统安装VNC
环境配置环境配置操作都是在root用户下进行的：更新系统yum upgrade -y更新安装依赖环境，否则后面安装图形界面时会报错check error: file /boot/efi/EFI/centos from install of fwupdate-efi-12-5.e17.centos.x86_64 conflicts with file from package grub2-common-1:2.02-0.64.el7.centos.noarchyum update grub
2021-01-18 19:03:46
26
原创 双线性插值
线性插值根据百度百科的介绍：线性插值是指插值函数为一次多项式的插值方式。线性插值的几何意义即为利用过A点和B点的直线来近似表示原函数。线性插值可以用来近似代替原函数，也可以用来计算得到查表过程中表中没有的数值。那么如下图所示，假设已知y1=f(x1)y_1=f(x_1)y1=f(x1)，y2=f(x2)y_2=f(x_2)y2=f(x2)，现在要通过线性插值的方式得到区间[x1,x2][x_1, x_2][x1,x2]内任何一点的f(x)f(x)f(x)值。通过上图我们很容易得到以下公式：
2021-01-13 17:57:00
53
2
原创 通过pycocotools获取每个类别的COCO指标
在目标检测任务中，我们常用的评价指标一般有两种，一种是使用Pascal VOC的评价指标，一种是更加严格的COCO评价指标，一般后者会更常用点。在计算COCO评价指标时，最常用的就是Python中的pycocotools包，但一般计算得到的结果是针对所有类别的，例如： Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.512 Average Precision (AP) @[ IoU=0.50
2021-01-06 10:49:19
120
原创 Pytest使用记录
Pytest简介Pytest是一个易用、强大、灵活的功能测试框架,并且兼容unittest和nose的测试用例。易用: 用例编写简单, 断言方便强大: 全能的mark, 强大的fixtures灵活: 灵活的执行控制及丰富的插件Pytest安装指令pip install pytestPytest编写规则测试文件以test_开头，或以_test结尾测试类以Test开头，并且不能带有 init 方法测试函数以test_开头断言使用python自带的assert项目结构目录假设我
2020-12-29 11:30:54
82
2
原创 Pytorch中多GPU并行计算教程
如果不想看文字的，可以在我bilibili上看录制的视频教程：Pytorch多GPU使用教程常见多GPU使用方法在训练模型中，为了加速训练过程，往往会使用多块GPU设备进行并行训练（甚至多机多卡的情况）。如下图所示，常见的多GPU的使用方法有以下两种（但不局限于以下方法）：model parallel，当模型很大，单块GPU的显存不足以放下整个模型时，通常会将模型分成多个部分，每个部分放到不同的GUP设备中（下图左侧），这样就能将原本跑不了的模型利用多块GPU跑起来。但这种情况，一般不能加速模
2020-11-17 18:28:55
440
4
原创 爬取github仓库所有release文件
Github v4（graphql）API测试网址：https://developer.github.com/v4/explorer/查询最新的10个release的tag信息:{ repository(name: "node-sass", owner: "sass") { releases(last: 10) { nodes { tagName } pageInfo { endCursor hasNext
2020-10-14 14:26:48
218
2
原创 openvino使用（一）转换并量化（INT8）分类网络模型
在pycharm中使用openvino包，不能直接使用图标启动，要使用终端启动。如果不知道pycharm的启动文件在哪，可以通过以下指令查找：sudo find / -name pycharm.sh找到后进入pycharm.sh所在文件夹，执行该启动脚本：./pycharm.sh将onnx模型转成IR格式（FP16除了模型小一点，没任何提速）：python mo.py --input_model ~/my_project/resnet34.onnx --output_dir ~/openvin
2020-09-09 15:56:59
557
原创 OpenVINO安装记录（Ubuntu18.04）
首先贴出openvino官网链接，里面有各种系统的安装教程（Linux、windows、macOS）。本教程以ubuntu18.04为例。0. 硬件需求在官方Install Intel Distribution of OpenVINO toolkit for Linux* OS模块中，有给出硬件以及软件的需求，看不惯英文的可以点击右上角的中文文件有中文的教程。1. openvino的下载首先贴出下载链接，在链接中需要填写个人信息才能下载。这里贴出我下载好（2020.4.287版本的），并存在网盘
2020-09-03 14:22:21
262
原创 python3 自定义logging.Handler, Formatter, Filter模块
在日常使用logging模块中，我们常会使用到官方提供的FileHandler,StreamHandler,RotatingFileHander等，详细参考官方文档, 这些模块都是继承来自与logging.Handler这个父类，而Handler主要用来自定义日志对象的规则（比如：将日志输出到什么地方，哪些日志进行输出、以及日志输出的格式等）。虽然官方提供了很多实现好的Handler，但总有一些特殊情况需要自定义输出日志。比如下面的示例中要将日志输出到kafka集群中，此时我们需要自定义Handler对象。
2020-08-31 14:56:24
403
原创 Github资源中转至Gitlab
文章目录1 Gitlab的安装与配置1.1Gitlab的安装1.2Gitlab的配置1.2.1gitlab自带nginx的配置1.2.2配置自己下载的nginx2 获取Github资源2.1 v3 api2.2 v4 graph api2.3 clone 仓库源文件3 上传资源至Gitlab3.1 push源码资源3.2 push tags信息3.3 push release信息3.4 修改项目可见性4 WIKI的下载与上传简单说下需求，由于公司内外网是隔离的，为了在内网能够学习github上的一些源码资
2020-07-27 14:48:43
332
原创 Windows下安装pycocotools
之前在linux系统下安装pycocotools时非常简单，只需：pip install pycocotools如果在windows下通过以上指令安装会报错，网上查询后都说需要安装C++编译器或者VS环境，等等，其实没必要那么麻烦，直接通过一下指令安装即可：pip install pycocotools-windows...
2020-06-06 11:26:37
327
2
翻译 解决ubuntu18.04 WPS提示缺少字体的问题
在ubuntu18.04上安装Linux版的WPS后，打开原来的文档或PPT（这些文件都是在windows上创建的）会提示缺少字体。通过以下方法可以解决：在一台window电脑上拷贝C:\Windows\Fonts\windows上的字体文件夹（不建议在网上下，大多是坑），传输到ubuntu电脑上将字体文件夹移动到/usr/share/fonts/文件夹下sudo mv ./Fonts/* /usr/share/fonts/wps_symbol_fonts/sudo chmod 777 -R /
2020-05-28 16:57:40
321
原创 Python+Scrapy爬虫实战
目录欢迎使用Markdown编辑器首先说下本实例的一个大致需求与思路：需求：需要从一个网址上爬取所有的下载文件，该网址还有很多的子目录，子目录下的文件也要下载，下载后要按照原网址的目录进行摆放。Scrapy是一个功能强大的爬虫框架欢迎使用Markdown编辑器...
2020-05-27 11:38:10
329
3
原创 MobileNet(v1、v2)网络详解与模型的搭建
首先给出三个链接：1. MobileNet（v1，v2）网络详解视频2. 使用pytorch搭建mobilenet v2并基于迁移学习训练视频3. 使用tensorlow2搭建mobilenet v2并基于迁移学习训练视频在之前的文章中讲的AlexNet、VGG、GoogLeNet以及ResNet网络，它们都是传统卷积神经网络（都是使用的传统卷积层），缺点在于内存需求大、运算量大导致无法在...
2020-04-26 17:50:50
1641
7
原创 ElasticSearch7.6安装与基础操作
最近在学习elasticsearch软件，并搭建一个简单的查询服务。所以在此记录所有最近使用elasticsearch的流程。首先贴出官方文档链接，网上的资料太杂，还是官方的靠谱(吐槽一下，官方文档的链接有时打不开)。https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html安装elasticsearch7.6...
2020-03-23 22:31:43
1081
原创 ResNet网络结构详解与模型的搭建
首先给出三个链接：1. ResNet网络结构详解视频2. 使用Pytorch搭建ResNet网络并基于迁移学习训练3. 使用Tensorflow搭建ResNet网络并基于迁移学习训练ResNet网络是在2015年由微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。下图是ResNet34层模型的结构...
2020-03-07 13:37:55
4029
13
原创 Batch Normalization详解以及pytorch实验
Batch Normalization是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。在网上虽然已经有很多相关文章，但基本都是摆上论文中的公式泛泛而谈，bn真正是如何运作的很少...
2020-02-21 23:56:33
5080
24
原创 GoogLeNet网络结构详解与模型的搭建
首先给出三个链接：1. GoogLeNet网络结构详解视频2. 使用pytorch搭建GoogLeNet网络并训练3. 使用tensorflow搭建GoogLeNet网络并训练GoogLeNet在2014年由Google团队提出（与VGG网络同年，注意GoogLeNet中的L大写是为了致敬LeNet），斩获当年ImageNet竞赛中Classification Task (分...
2020-02-20 16:43:49
1241
7
原创 VGG网络结构详解与模型的搭建
首先贴出三个链接：1. VGG网络结构详解视频2. 使用pytorch搭建VGG并训练3. 使用tensorflow搭建VGG并训练VGG网络是在2014年由牛津大学著名研究组VGG (Visual Geometry Group) 提出，斩获该年ImageNet竞赛中 Localization Task (定位任务) 第一名 和 Classification Task (分类...
2020-02-20 15:23:22
1584
4
原创 AlexNet网络结构详解与模型的搭建
首先贴出三个链接：1.AlexNet网络结构详解视频2. 使用pytorch搭建AlexNet并针对花分类数据集进行训练3. 使用tensorflow搭建AlexNet并针对花分类数据集进行训练AlexNet是2012年ILSVRC 2012（ImageNet Large Scale Visual Recognition Challenge）竞赛的冠军网络，分类准确率由传统...
2020-02-20 14:19:05
1602
19
原创 Centos7 安装Tensorflow2.1 GPU以及Pytorch1.3 GPU（CUDA10.1）
这两天GPU设备到了，然后搭建下环境，顺便记录安装流程（注意这里是Centos7），我们先看下安装tensorflow2.1 GPU和Pytorch1.3 GPU所需的环境。当前tensorflow的最新稳定版本是2.1，根据**官网的要求:需要CUDA10.1、cuDNN7.6、TensorRT6.0（可选）**当前Pytorch的最新稳定版本是1.3，根据**官网的要求:需要C...
2020-01-11 11:36:05
4805
17
原创 Tensorflow2.1-cpu安装（缺少msvcp140_1.dll）
今天发现tensorflow2.1出稳定版了，然后就更新到最新的tensorflow，先卸载旧版本在安装新版本，安装CPU版本指令如下：# 删除旧版本pip uninstall tensorflow# 安装新版本pip install tensorflow-cpu==2.1.0安装后在导入tensorflow包过程中出现了"Could not find the DLL(s)'ms...
2020-01-10 14:53:13
10198
10
翻译 在centos7中使用systemd部署flask以及golang程序自启动
最近在部署一些web服务，有的是用python的flask框架写的，有的是用golang的beego框架写的。在部署过程中需要将这些服务变成自启动服务，且需要该服务具有启动失败或中断后能够自动重新启动的功能。当然之前很多人喜欢写个shell脚本来处理，但现在比较主流的方法是通过systemd来管理你的服务，就像系统服务一样，更加方便管理。原理不多说，本文以两个实例进行讲解，一个是通过systemd...
2020-01-10 10:00:39
564
原创 pytorch中对于tensor的一些骚操作
使用环境：pytorch1.3.1；python3.6最近在读pytorch官方实现的Faster RCNN代码时，发现了一些非常规的tensor操作，为了方便理解，在此记录下：1. (a[:, None] * b[None, :]).view(-1)这是在计算anchor的k值出现的操作，其中a为一维向量[a1, a2, ..., an]，b也为一维向量[b1, b2, ..., b...
2019-12-12 20:56:41
435
原创 深度学习在图像处理中的应用（tensorflow2.2以及pytorch1.6实现）
本人在读研期间的研究方向是图像处理以及深度学习（主要是图像分类和目标检测）。在做深度学习时使用的是tensorflow深度学习框架，学习全是自学，很多资源都是在Github上找的。我发现现在Github上很多深度学习的开源项目都是用的tensorflow和pytorch框架。所以现在也开始学习pytorch框架，之前一直用的是tensorflow1.x版本，今年正好迎来了新的tensorlfow大...
2019-12-10 20:36:50
9640
202
原创 使用python3的h5py包查看keras生成的h5文件内容
近期在使用tensorflow2.0的keras模块，训练的模型权重保存格式是.h5（Hierarchical Data Format，HDF5），然后遇到了个bug，一直无法载入权重，总提示shape不匹配，然后就想看下这个h5文件的内容。在网上了搜了各种使用h5py的方法都无法正确读取keras生成的h5文件内容，纠结这个问题浪费了我1整天的时间。下面说下我的解决办法。首先说下环境：P...
2019-12-09 11:00:02
1926
2
原创 tensorflow2.0训练网络的问题（包括BatchNormalization以及Dropout）
近期准备做一些关于深度学习图像篇的教程，主要包括分类网络，目标检测网络、图像分割网络，并以pytorch1.3以及tensorflow2.0分别去搭建实现。近期使用tensorflow2.0训练网络时遇到了很多问题，在这简单做个总结。使用环境：Python3.6（Anaconda管理）、Tensorflow2.0.0rc11.到底使用subclassed API还是使用官方推荐的ke...
2019-12-06 17:20:56
1123
5
原创 使用gunicorn部署flask服务
为什么要用gunicorn部署flask当我们以production环境运行flask项目时，通常flask会在控制台打印出一个警告：“WARNING: Do not use the development server in a production enviroment. Use a production WSGI server instead.”什么意思，简单的说就是flask只为我们提...
2019-11-28 09:41:37
285
原创 解决tensorflow2.0.0在pycharm中cannot find reference问题
今天尝试安装tensorflow2.0.0版本，并使用官方的例程进行测试，虽然程序跑起来没有任何问题，但在我的pycharm中总有很多标黄的地方让我看着非常不爽。主要有以下两个问题：（1）导入keras等模块时总提示cannot find reference（2）我想去查看下函数的定义，但总是提示cannot find declaration to go to接着我在网上找了很久，并...
2019-11-20 17:26:21
2007
6
原创 Python3多线程与协程测试
今天简单测试了下python中的多线程与协程，之前在看python的教程中有说到python的多线程其实是在一个线程中来回切换并不会真正的去使用多核资源。如果想真正去利用多核资源，最好的办法是使用python的多进程+协程的方式（协程是一种充分利用单核资源的方法）。注意：并不是说协程一定比多线程效率高，这需要看情况，有的时候协程也会慢的和单线程一样。下面我对不使用线程，使用线程以及使用协程进行了简...
2019-11-15 09:18:41
299
1
原创 pytorch中的卷积操作详解
首先说下pytorch中的Tensor通道排列顺序是：[batch, channel, height, width]我们常用的卷积（Conv2d）在pytorch中对应的函数是：torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=Tr...
2019-11-05 23:35:22
10135
6
原创 flask项目结构
之前简单的学习过go的beego框架，这两天简单接触了下python的flask框架，通过pycharm创建的flask项目感觉各功能模块之间分的不够清晰，如下表为pycharm创建的flask项目结构：+flaskProject +static +templates -app.py其中，static文件夹用来存放静态文件，templates文件夹用来放模板文件，...
2019-10-24 20:43:02
210
原创 使用Python3和Golang对MYSQL进行操作
Python操作mysqlpython3需要使用的第三方包：pymysql、sqlalchemy概念性的东西不多介绍，有想了解的推荐一篇博文：https://www.jianshu.com/p/65903a69d61d下面给出了一个简单的实例：from sqlalchemy import create_engine, Column, BIGINT, DateTime, Strin...
2019-10-21 18:38:07
158
原创 python3通过paramiko远程交互式控制Linux服务器
这几天一直在想办法通过ssh方法通过自己工作的windows端去访问控制远程的Linux服务端，为后期的服务器自动化做准备。这几天几乎把能想到的知识点全都百度了一遍，不会google（比较菜），但没有找到自己想要的方式，有的代码也无法正常运行。经过自己的研究测试，发现：（1）如果想实现真正的交互式，在paramiko中必须使用invoke_shell()的方式。（2）网上大部分都是使用的非...
2019-10-19 14:50:28
994
2
原创 python3查询hbase的表格名称以及占用空间大小
最近在服务器上安装了hbase数据库，然后尝试着用python3去查询数据库的信息以及各表格的占用空间，总结如下：hbase是使用java语言写的，所以hbase原生支持java，同时也对于别的语言提供了thrift接口，通过thrift接口我们可以通过python（还支持其他语言）去对数据库进行处理。所以我们需要在服务器端安装thrift，本文安装的版本为0.11.0，安装使用thrift参...
2019-10-17 20:35:20
433
转载 ubuntu16.04 server hbase1.2.6离线安装
今天在ubuntu服务器上尝试安装hbase，参考了网上的教程，遇到了各种坑，所以写个博文记录以下，避免以后采坑。首先给出参考的几篇文章链接：Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）Linux 下ZooKeeper安装Hadoop2.7.1 安装提示SHUTDOWN_MSG: Shutting down NameNode at java.net.Unkn...
2019-10-15 19:24:04
121
原创 使用Tensorflow搭建并训练TextCNN模型，对文本进行分类
最近有学习关于文本分类的深度学习模型，最先接触的就是TextCNN模型，该模型看起来非常简单效果也非常好，在此简单记录下整个模型的搭建以及训练过程。通过本博文，你可以自己搭建并训练一个简单的文本分类模型，本文的代码注释非常详细。使用的开发环境：python3（Anaconda管理）、Tensorflow1.13.1本文主要分为以下几个部分进行展开讲解：（1）TextCNN原理（2）...
2019-10-12 17:46:17
935
翻译 keras中Lambda层的使用
在keras中搭建模型常用的方法有两种：（1）一种是较为简单的序列模型Sequential（该方法适用于搭建简单的模型）（2）一种是使用Keras函数式的API（该方法最为常用）无论使用哪种方法在搭建model时都要求使用keras中继承自Layer的层（例如keras.layers.Conv1D等等），但有时候又需要使用一些keras.layers中没有的层（例如expand_dim...
2019-10-09 21:50:22
8855
7
原创 tensorflow object detection的简单使用（一）
在上一篇博文中，简单介绍了如何在ubuntu16.04上安装google提供的基于tensorflow的object detection模块。本篇博文简单介绍如何去使用这个模块，主要以训练PASCALVOC2012数据集为例进行讲解。什么是PASCAL VOC，如果有不了解的同学可以抽点时间看下这篇博文这个博主讲的很详细，简单来说就是拥有20个类别的目标检测数据集（当然除了目标检测还有目标分割等...
2019-09-29 21:18:43
1998
7
原创 Ubuntu16.04 server 安装tensorflow object detection模块
安装提醒：本博文是在ubuntu16.04服务器（只有黑框框，没有图形界面，推荐使用MobaXterm之类的远程控制软件，方便访问服务器）上离线安装的tensorflow object detection模块。因为服务器不能连外网，所以只能通过提前在外网下载好所需要的各种包工具传入服务器中进行安装。官网中也有安装教程，但你第一次安装可能会遇到坑（由你的开发环境决定）。对于学习深度学习（图像这块...
2019-09-24 21:24:28
811
1
空空如也
运行tensorflow1.2.1版本报错，不知原因求大神们指点
发表于 2017-07-04 最后回复 2019-08-25
关于海康网络摄像头通过外网二次开发问题
发表于 2017-05-24 最后回复 2018-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝