- 博客(47)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 arcpy管线数据处理小工具
arcpy管线数据处理一、需求管线数据规整过程，需要依照标准给属性字段赋值，人工操作显然不现实，因此，需要借助arcpy开发小工具进行批量处理。给gdb中的每个 要素数据集 的 要素属性表字段 赋值，这里的赋值主要是根据设定好的规则进行属性字段赋值；管线表和管点表是有对应关系的，如：管线表中的 起点 和 终点 对应管点表的 PllCode，所以PllCode码变了，StartPoint 和EndPoint也要跟着变。 二、代码#!/usr/bin/env python#
2021-07-29 10:39:22
402
原创 视频裁剪小工具（批量）
视频裁剪小工具（批量）一、代码import csvimport osfrom moviepy.editor import *import logging# 错误日志logger = logging.getLogger() # 实例化一个logger对象logger.setLevel(logging.INFO) # 设置初始显示级别file_handle = logging.FileHandler("video_clip错误日志", encoding="UTF-8")stream_
2021-03-26 18:00:18
669
原创 AI视频数字识别、分割（下）
接上一波:神经网络模型训练字符识别断点确定分割视频四、神经网络模型训练有了字符，接下来就是识别了，思路：1、MNIST 那一套直接拿过来用，效果不太好；2、网上也有 tesseract，试了没成功；决定自己训练模型~实现步骤：1、制作样本集（类似MNIST）；2、神经网络模型搭建；1. 制作样本集（类似MNIST）；参考博客：https://blog.csdn.net/qq_36108664/article/details/107087068实现：① 数据收集（划分
2021-03-17 14:33:01
721
原创 AI视频数字识别、分割（上）
任务描述:根据视频中的数字的变化切割视频（国网需求）；夜晚热红外视频帧：根据右上角机位数字分割视频思路:视频分帧aoi区域裁剪字符分割神经网络模型训练字符识别断点确定分割视频一、视频分帧# Step1:视频读取、分帧# 1.保存视频每一秒的图面def save_image(image, addr, num): address = addr + str(num) + '.jpg' cv2.imencode('.jpg', image)[1].tofile(
2021-03-17 10:24:17
1434
原创 数据集标注工具Labelme——无需Anaconda
数据集标注工具Labelme一、Labelme下载github：https://github.com/wkentaro/labelme二、打包# Setup condaconda create --name labelme python=3.6conda activate labelme//开一个环境# 这里先进入到labelme的根目录cd [你的路径]conda install pyqtpip install .pip install pyinstallerpyinstall
2021-03-03 15:33:35
1070
2
原创 AntV G2图表宽高自适应问题（第一次加载canvas宽度大于div）——Angular
一、问题描述第一次加载图表，canvas死活大于给定div的宽度，实例化chart使用了autoFit: true调整页面窗口大小，又自适应了相当郁闷！！！二、分析显然，autoFit: true是在后来改变窗口大小时才被起作用了，分两种情况：第一次加载时，autoFit: true 根本不起作用；第一次加载时，autoFit: true 有起作用，但是dom都还没有渲染完成，autoFit看似有用，其实还是没用（不知道宽度怎么用）；三、解决 ngOnInit(): void {
2021-01-22 17:38:08
4006
原创 APP数据截取（记录）
一、准备工作软件下载：夜神模拟器Fiddler二、配置工作参考：https://blog.csdn.net/qq_37275405/article/details/81181439Fiddler配置夜神模拟器配置测试打开app软件，观察fiddler，就可以截取想要的数据了...
2021-01-04 17:08:04
812
原创 WebUI——领导驾驶舱
WebUI领导驾驶舱1、效果预览“领导驾驶舱”可视化界面当下比较流行，因此以“档案数据管理为例”画了画界面，先附上效果，技术栈：angular + G2 + L7需要装几个包: //G2 Chartnpm install @antv/g2 --save// L7 依赖npm install --save @antv/l7// 第三方底图依赖npm install --save @antv/l7-maps; 参考：GitHub:https://github.com/liuhuaw
2020-12-29 17:20:38
2105
原创 koa2 restful api
koa2 restful api写过几次restful api，决定记录一下，避免忘记1、数据库连接创建config文件夹，存放数据库配置文件config/dbInfo.js//创建数据库配置信息const config = { database: 'test', // 使用哪个数据库 username: 'root', // 用户名 password: '1234', // 密码 host: 'localhost', // 主机名 port: '330
2020-11-25 17:11:25
343
原创 Tensorboard可视化
好久没写博客了~这里记录一下一个小问题吧~如果你是分多次训练的话，就是老是暂停训练再重新训练，那就会生成多个events文件，就像下面这样：如果你想要一起展示出来的话，那就直接用tensorboard --logdir=train_dir另一种情况是，如果你想逐个展示events文件的话，你可以每个events放一个文件夹，像这样：运行tensorboard --logdir=...
2019-08-19 11:22:41
170
原创 yolo可视化——loss、Avg IOU、P-R、mAP、Recall （没有xml文件的情况）
训练完模型之后，当然是可视化看看情况如何，这里先声明环境：Ubuntu 16.04、darknet53好，那我们来看这几个指标的可视化吧~一、loss & Avg IOU这两个指标是和训练过程结合在一起的，具体的绘制参考博客：https://blog.csdn.net/qq_34806812/article/details/81459982感谢这位作者，非常的详细~二、P-R曲...
2019-07-13 10:37:56
6969
3
原创 目标检测、语义分割性能指标
模型训练主要有以下几个性能指标和术语，这边做下记录：IOU（Intersection over Union）：即交并比，看下面这张图就非常直观了~三种特殊情况：1、预测框 = 真实框，可得 IoU = 1，不难看出IoU值越高，预测越准2、预测框 与 真实框 交集为0，即挨不着，IoU值为03、一般IoU = 0.5时，视为预测的框有效，并往上分IoU为0.6、0.7、0.8、0....
2019-04-17 11:57:22
3895
4
原创 带Json标注的数据集转成TFRecord（TT100K数据集）
问题描述:手上有TT100K数据集，图片标注信息是json文件（作者用Qt开发的标注软件标注），但是想用Tensorflow Object Detection API来训练，之前做的Demo都是xml格式的标注，那么，如何将TT100K转成想要的TFRecord呢？参考上一篇博客（VOC数据集转换成TFRecord文件）：https://blog.csdn.net/m0_37970224/ar...
2019-04-15 10:06:11
4709
16
原创 VOC数据集转换成TFRecord文件
voc数据集的格式voc_to_tfrecord.py# coding=utf-8import osimport sysimport randomimport tensorflow as tffrom PIL import Imageimport xml.etree.ElementTree as ETDIRECTORY_ANNOTATIONS = './Annotations/...
2019-04-15 09:42:25
4349
8
原创 Tensorflow Object Detection API 版本对应关系（CUDA/cudnn/tensorflow-gpu踩坑）
关于Tensorflow Object Detection API中tensorflow-gpu的版本选择：记得一定要去看官网的要求！官网是这么说的：它的版本是tensorflow-gpu 1.12.0，你不能低于1.12.0版本，不然model zoo里面的模型你跑不了~官网：https://github.com/tensorflow/models/blob/master/research...
2019-04-14 17:43:34
1281
原创 voc数据集标注格式简单介绍
刚写完coco数据集，顺便把voc数据集的标注格式也介绍一下~两个标注格式最大的不同当然就是：coco标注的文件是json格式的，上一篇博客已经有完整的介绍了而voc则是xml格式的~Pascal VOC数据集介绍首先，voc数据集下载下来会有这么几个文件夹：AnnotationsImageSetsJPEGImagesSegmentationClassSegmentati...
2019-04-11 15:59:19
22583
原创 coco2017数据集标注格式说明
今天准备看看coco数据集到底长啥样，还有其标注格式是什么样的，怀着好奇心，开始百度，于是来到知乎~感谢知乎给我释疑了~参考知乎：https://zhuanlan.zhihu.com/p/29393415这里做个记录以免忘记~一、下载coco2017数据集官网下载实在是太慢了，而且打不开链接：http://mscoco.org/后来找到这哥们的镜像，很快哟~（想打赏，但是二维码扫...
2019-04-11 15:30:46
12333
10
原创 TensorFlow Object Detection API视频检测
上面几篇文章已经初步讲解了TensorFlow Object Detection API的安装使用利用TensorFlow Object Detection API进行小浣熊的检测（图片）这节讲解利用 TensorFlow Object Detection API （基于已经训练好的小浣熊检测模型）进行视频检测~这是参考博客：https://blog.csdn.net/xiaoxiao...
2019-03-27 10:02:02
677
原创 TensorFlow Object Detection API 安装使用
谷歌开源的 TensorFlow Object Detection API 玩起来还不错，虽然我还没深度的剖析其内部的东西，这里只是做个记录，防止自己以后忘记，重新捡起来，浪费时间~当时，我把自带的demo跑起来的时候，可是花了不少的时间，而且遇到了不少的坑~一步一步重新捡起来吧~一 下载模型直接给出链接：https://github.com/tensorflow/models（版本一直...
2019-03-26 14:53:12
354
1
原创 TensorFlow Object Detection API入门例子 （小浣熊检测下）
上篇文章讲了两点：收集并标注数据数据格式转换（tfRecord）接下来我们来讲确定训练模型开始训练导出模型并测试好，那我们就开始吧~~~一 训练模型模型选择创建一个data文件夹把train.record和test.record放进去Tensorflow detection model zoo 提供了很多模型链接：https://github.com/tensor...
2019-03-25 19:59:14
584
原创 TensorFlow Object Detection API入门例子 （小浣熊检测上）
玩了一周的TensorFlow Object Detection API了，是时候记录一下，踩过的坑都快忘记了~首先，总结一下检测的流程，实验分以下几步完成：收集并标注数据数据格式转换确定训练模型开始训练导出模型并测试一.收集并标注数据下载链接：链接: https://pan.baidu.com/s/14jaDchHUYH4Tc0BWSDcTkg 提取码: a4we...
2019-03-25 17:23:06
398
2
原创 Win10+GT1080ti+Anaconda+Pycharm
首先，我想说MMP~tensorflow版本不一样真的把我搞屎掉了，简直了，马勒戈壁蛋安装步骤：网上倒是有很多的教程，但是但是但是！！！！那个啥！你要看清楚tensorflow-gpu的版本对应支持的python版本，python版本太高或者tensorflow-gpu版本太高都会让你奔溃！！！麻烦麻烦麻烦，你好好看看对应关系！！！去这里看看，官网里面有说对应关系https://te...
2019-03-18 20:08:48
178
原创 mnist手写数字辨识实战——改进的LeNet
手写数字辨识应该说的深度学习入门的HelloWorld，仔细认真的搞完这个的话，对后面其他模型结构的实验学习是非常有帮助的，那话不多说，go~一般三步搞定搭建网络模型训练网络模型测试网络模型一、搭建网络模型mnist_inference.py这里就是定义一个网络模型，你也可以改成什么AlexNet、ZFNet、ResNet、GoogleNet、VGG、你有兴趣你就这么去玩...
2019-03-16 19:22:02
811
原创 卷积神经网络的现代雏形——LeNet
一、前言LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition，是一个用来识别手写数字的最经典的卷积神经网络，是Yann LeCun在1998年设计并提出的。个人主页：http://yann.lecun.com/论文链接：https://pan.baidu.com/s/1nEQFgsonFVm790MhJA8kD...
2019-02-23 16:32:03
654
原创 机器学习实战——笔记（Logistic 回归）
Logistic 回归目录logistics 概述梯度上升算法随机梯度上升算法改进的随机梯度上升算法一、logistics 概述谈到“逻辑回归”，不得不说的就是 sigmoid 函数sigmoid(z)=11+e−zsigmoid(z) = \frac{1}{1+e^{-z}}sigmoid(z)=1+e−z1函数图像：可以知道：当z=0时，s(z)=0.5当z→...
2019-01-20 15:58:55
232
原创 机器学习实战——笔记（梯度下降——Gradient Descent）
梯度下降——Gradient Descent目录回顾梯度下降算法 （Gradient Descent）学习率的设置（Tuning your learning rates）随机梯度下降（Stochastic Gradient Descent）特征归一化（Feature Scaling）梯度下降算法推导（Taylor Series ）一、回顾梯度下降算法公式：假设θ\thetaθ有...
2019-01-18 20:00:54
293
原创 机器学习实战——笔记（线性回归之误差分析）
线性回归之误差分析首先回顾下上一节得到的曲线长这样：图来源于李宏毅大神~error主要来源于两方面：bias：标准差variance：方差简单的来理解一下bias（标准差）及variance（方差）比如：“预测宝可梦进化后的战斗力的例子”我们知道一定存在一个最佳的数学模型来预测新的“宝可梦”进化后战斗力，记为f^\hat{f}f^（这也是我们辛辛苦苦想找的）但是，我们每...
2019-01-16 18:14:35
5033
原创 机器学习实战——笔记（线性回归）
线性回归目录线性回归小练习把李宏毅的“宝可梦”线性回归的视频又刷了一遍~是时候记录下来啦~一、线性回归首先，什么是线性回归？无非就是一个函数f(x)=wx+bf(x)= wx+bf(x)=wx+b举个“宝可梦”的例子：小智在野外抓了一只皮卡丘，皮卡丘进化后是雷丘，小智想知道雷丘的战斗力如何？小智去问大木博士，博士只给了小智10只宝可梦的详细信息（进化前和进化后的属性...
2019-01-16 10:57:47
325
原创 机器学习实战——笔记（线性回归、梯度下降算法、Logistic回归概述）
线性回归、梯度下降算法、Logistic回归概述目录前言线性回归梯度下降算法Logistic回归一、前言刚好读到《机器学习实战》的第五章——Logistic回归，有几点疑问：回归不是说预测具体的数值，是连续的吗？难道我理解错了？挖槽，这里面好像大有学问我以前有听过随机梯度下降算法，我还知道英文名叫SGD，看了书上的梯度上升算法，表示颠覆。看了公式之后，我想知道怎么推...
2019-01-13 17:14:15
504
1
原创 机器学习实战——练习（朴素贝叶斯——从个人广告中获取区域倾向）
朴素贝叶斯——从个人广告中获取区域倾向示例：使用朴素贝叶斯分类器从个人广告中获取区域倾向Craigslist个人广告链接已经找不到了，改用该网站的社会事件event与政治politics的RSS源https://newyork.craigslist.org/search/eve?format=rss&sale_date=2018-06-11https://losangeles.cr...
2019-01-12 21:38:29
829
原创 机器学习实战——练习（朴素贝叶斯——垃圾邮件过滤）
朴素贝叶斯——垃圾邮件过滤描述：有50封邮件，其中垃圾邮件25封，有用邮件25封，垃圾邮件类别记为1，有用邮件类别记为0，现在需要过滤邮件。实验思路：首先，处理下邮件的形式，文本处理成向量然后，随机将邮件分成训练集和测试集，比例4:1训练集拿出来训练，得到两个类别的概率分布测试集拿出来测试，概率带进来计算类别，并计算错误率# 输入字符串，输出单词列表def textPar...
2019-01-12 20:31:31
1799
原创 机器学习实战——笔记（朴素贝叶斯）
朴素贝叶斯（naive bayes）目录朴素贝叶斯算法原理文本分类练习一、朴素贝叶斯——算法原理优点：在数据较少的情况下仍然有效，可以处理多分类问题缺点：对于输入数据的准备方式较为敏感适用数据类型：标称型数据首先，我们来讲一下贝叶斯决策理论的核心思想场景：假设有一个数据集，它由两类数据组成，数据分类如下：p1(x,y)表示数据点(x,y)属于红色一类的概率p2(x,...
2019-01-12 17:45:12
628
原创 机器学习实战——练习（决策树之Matplotlib绘制）
决策树之Matplotlib绘制在上一节我们已经学会决策树啦~但是呢结果是这样（字典形式）：{‘no surfacing’: {0: ‘no’, 1: {‘flippers’: {0: ‘no’, 1: ‘yes’}}}}这节，我们把它绘制出来！首先，我们先在Matplotlib上面练练手，画个丑东西上代码：import matplotlib.pyplot as plt#...
2019-01-11 17:28:31
317
原创 机器学习实战——笔记（决策树）
决策树目录决策树算法原理代码实现一、决策树算法原理直接上图，直观的了解下决策树是什么？矩形：表示判断模块椭圆形：表示终止模块 我相信上图大家都看得懂吧~决策树优点： 计算复杂度不高、输出结果易于理解，对中间值的缺失不敏感，可处理不相关特征数据缺点： 可能会产生过度匹配问题适用数据范围： 数值型和标称型 信息增益决策树就是在当前数据集上依据某个决定性属性特征来划分...
2019-01-11 10:33:22
209
4
原创 机器学习实战——练习（kNN——手写识别系统）
kNN——手写识别系统其实上一节的 “kNN——约会网站” 已经写得非常详细了，那这一节无非就是把图片转成向量来处理。先描述下图片，图片为32*32的黑白图片训练集：2000张，每个数字包括200张测试集：900张直接上代码：# 手写识别系统# 路径大家根据实际修改def img2vector(filename): returnVect = zeros((1, 1024...
2019-01-09 16:59:44
550
1
原创 机器学习实战——练习（kNN——约会网站）
kNN——约会网站目录约会网站推荐实现过程一、约会网站推荐场景： 某屌丝使用在线约会网站来约妹，虽然网站会给他推荐人选，但他并不喜欢每个人，他交往过的分成三种类型（其实这就是标签啦）：不喜欢一般般超喜欢该屌丝偷偷收集了约会者的数据，长这样：一行代表一个样本，从左往右的列数分别代表：每年获得的飞行常客里程数玩游戏所耗时间百分比每周消费的冰淇淋公升数类别标签（1...
2019-01-09 16:18:50
1288
原创 机器学习实战——笔记（K-近邻算法）
K-近邻算法目录K-近邻分类算法从文本文件中解析和导入数据使用Matplotlib创建扩散图归一化数值一、K-近邻算法概述场景一：从电影类型的分类出发，如何判断一部电影是爱情片还是动作片或者其他类型呢？是否可根据电影中出现的kiss镜头和打斗镜头数来划分呢？带着这两个问题来讲解“K-近邻算法”。K-近邻算法采用测量不同特征值之间的距离方法进行分类。优点： 精度高、对异常值...
2019-01-08 20:15:24
159
原创 Excel读写（NodeJs）
Excel读写一、安装插件这里用到的插件是 xlsx直接 npm i xlsx详细文档：https://www.npmjs.com/package/xlsx二、上代码ts里面：//首先导入xlsx包import * as XLSX from 'xlsx';// 打开并获取Excel对象openExcel(evt):Promise<any>{ const tar...
2019-01-08 12:13:21
9561
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人