yiweibian的博客

文章目录1.背景2.架构3.安装1.k8s安装2. 后端服务安装部署3. 前端服务安装部署4.功能展示5.总结6.参考文献1.背景 由于工作上的原因，需要搭建一个AI训练平台，其中包括数据标注管理，模型训练，模型推理等功能，如果从头开始搭建那工作量是巨大啊，设计到前后端，还有训练资源到管理，所以便找了一个开源的框架进行部署，此文是介绍之江实验室开源的天枢平台，当作记录，一些详细的步骤还是需要参考官方文档，这里只是从大的角度理解。硬件要求说明内存>32G程序太吃内存

Mxnet做图片分类训练的时候提供了多种输入，这里介绍.rec数据的制作。mxnet版本：9.041.收集图片这里收集了两类图片，猫和狗的图片。 第一类 第二类所有的图片放到两个文件夹中 2.生成mxnet训练需要的数据格式如果mxnet自带的im2rec.py有问题，这里用的是另外的文件，文件名叫im2rec2.py，代码在最后面。#生成.lst文件python im2rec2.py

前言解决flask部署服务后台不稳定，容易down的问题。在Linux 平台下直接nohub启动flask服务虽然可以在后台运行，但极其不稳定，容易挂掉。如何保持后台的服务进程稳定运行是一件非常重要的事情。而本文的一个解决方法是flask+gunicorn+nginx。flask和gunicorn都是python下的轻量级的web开发服务。flask实现了web路由方法，gunicorn负责启动...

face.evoLVe和facenet相比经过测试前者要好，网上能找到的很多开源的资料都是关于facenet的，所以写一篇关于face.evoLVe的使用。想看源码的可以直接到github上看。1. 代码下载过程省略把模型下载下来2. 修改测试代码代码和模型都准备好了需要修改一下代码进行人脸的特征提取打开文件extract_feature_v2.py修改成一下代码，添加一个...

这只是作为一个demo 记录。在实际过程中可能会遇到这样的问题：拥有一些自然场景的图片，如监控摄像头拍摄到的，但是由于光照，天气，相机抖动等因素造成拍摄到的图片模糊或者变形，如果直接对这些图片进行下一步处理往往显得比较困难，假如有算法能把这些低质量的图片进行优化，生成比较清晰或者尺寸增加但清晰度变化不大，这也是极好的！基于这样的背景下，废话也不多说，直接使用对抗生成网络进行图片优化，此篇使用的是...

场景：加载训练好的模型进行推理代码大体实现流程：输入—》模型—》结果模型为一个单独的类，其中在调用模型的时候需要import 类，然后加载模型在类中init （）函数。也就是说当运行代码的时候先加载模型，然后模型等待别的函数调用进行推理。实际上是每次都需要调用session.run()函数。在这个过程中发现在循环调用session.run()出现了内存泄漏的问题。首先session 是se...

远程主机：linux本地主机：windows 10安装jupyterpip install jupyter notebook配置jupyer$ python#输入以下内容from notebook.auth import passwd; passwd()#需要设置两次密码，#最后生成'sha1:-----------------------'，复制该字符串，之后需要用到...

TVM 就不多介绍了，本文涉及TVM的安装和SSD 模型的测试。TVM 安装$ git clone --recursive https://github.com/dmlc/tvm$ sudo apt-get update$ sudo apt-get install -y python python-dev python-setuptools gcc libtinfo-dev z...

ubuntu 16.04GTX1080Mxnet 最新pytho 2.71. 安装Mxnet Mxnet 按照参考官网，选择源码GPU安装。2. 安装warp-ctc 安装warp-ctc$ git clone https://github.com/baidu-research/warp-ctc.git$ cd warp-ctc$ mkdir buil...

Attention-ocr是一种端到端的图像文字识别方法。其输入是含有文字的图片，输出是文字。整个出来过程是： 图像—-CNN特征提取—Encoder—Visual Attention—Decoder以下是基于Github上的Attention-OCR进行安装测试Ubuntu 16.04GPU:GTX1080Tensorflow 1.8.0python 2.7.12...

以下问题都是根据参考文献修改-1.AttributeError: ‘module’ object has no attribute ‘text_format’解决方法：在/home/xxx/py-faster-rcnn/lib/fast_rcnn/train.py的头文件导入部分加上 ：import google.protobuf.text_format这里也尝试改变protobuf版本...

最近学习了遗传算法，尝试着把它按照理解写下来。对于遗传算法从名字上就可以看出来是和生物有关的东西，可以认为是和生物进化有关系，在生物进化里面又有一句话叫：物竞天择，适者生存。也就是说受环境的影响，最终会留下那些能适应环境的生物。如果从生物学里面进行考虑可能会涉及到 一堆的概念名词，如：染色体，个体，种群，基因突变等。那么如果遗传算法是根据生物进化进行涉及那么其也必定包含这些概念和过程。下面从概念和...

FPN主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。其在小目标上取得了很大的进步。更多细节可以阅读论文。 下面分两个内容介绍：1. 安装 2. 训练测试1.安装对于FPN有好几个框架实现的版本，如：caffe，mxnet 等。本文是对caffe 版本的FPN安装。 1.1 安装环境 Ubuntu 16.04 Python 2.7 opencv 3.3.0由于之前安装过c

忽略细节较多，只做一个简单的说明。系统:ubuntu16.04python2.7opencv3.3.3主要内容1.安装 ssd 2.准备数据 3.训练1.安装 ssd可以根据官网的Toturial安装#1.get the codegit clone https://github.com/weiliu89/caffe.gitcd caffegit checkout ssd#2.

在Opencv3.3版本中集成了deeplearning功能。其实现了对caffe和tensorflow两个框架的推理，但不支持训练。本文使用caffe训练的文件对目标进行检测。整个思路是首先读取视频文件，然后加载模型文件，最后读取到视频的每一帧对其进行检测。系统: ubuntu16.04python:2.7模型文件：MobileNet-SSD任意视频文件1.安装 openCV如果安装好了

假如有一个存在的项目test-project，此时你有一个github帐号：test@github.com，想把test-project上传到自己帐号里面，那么只需要以下几步：建立系统和github的ssh通信在github创建项目上传到github1. 建立系统和github的ssh通信系统环境：ubuntu16.04sudo apt-get install git1.1 生成ssh ke

整个过程可以分两步:找到对应的层名字（如：tensorflow 模型中的conv1_1和caffe中的conv1_1）。把weights 和biases 中的值赋给相对应的层。赋值的时候要注意Tensorflow和caffe之间通道不一样，这里还是做转换。 实现 实现的代码地址

利用训练好的模型测试只需要把模型和数据准备好。系统： ubuntu14.04 Mxnet: 0.9041.模型和数据准备2.模型加载测试import mxnet as mxsym,arg_params,aux_params = mx.model.load_checkpoint('vggnew',40)mod = mx.mod.Module(symbol=sym,context=mx.gpu()

使用fine-tun的方式训练模型的话首先需要下载相应的模型，然后按照自己的数据集修改相应的类别，最后训练。系统： ubuntu14.04 Mxnet: 0.9041.数据准备train_iter = "/mxnet/tools/train-cat.rec"val_iter = "/mxnet/tools/train-cat_test.rec"batch_size=10num_epoch =

训练模型可以利用自定义的模型进行也可以采用fine-tune的方法。这里先介绍如何自定义模型进行训练。系统： ubuntu14.04 Mxnet: 0.9041.数据准备mxnet数据集的生成可以参考上一篇文章这里从代码来分析：#数据路径train_iter = "/mxnet/tools/train-cat.rec"val_iter = "/mxnet/tools/train-cat_t