- 博客(38)
- 收藏
- 关注
RSS订阅原创 关于map()和apply()简单的理解
最近在使用pandas做数据处理，有一列是url编码和没有编码的内容混合，想用一个办法把这列的所有值都去编码，要使用一个函数判断一下，就要重新熟悉了一下map和apply，map是返回这一列的每一个值，apply是返回这一列对象。...
2020-04-02 14:28:21
469
原创 检测图片上的红色印章
import osimport cv2import numpy as npimport tensorflow as tfimport sysdetection_graph = tf.Graph()model_file = "./tag_detect/finger_stamp.pb"with detection_graph.as_default(): od_graph_de...
2020-03-20 17:22:40
1264
原创 如何优雅的把images和labels的内容读出来
今天看yolov3的代码，读取img和label的时候，感觉写的很简洁，记录下来，以后有类似场景可以优雅一下。with open(list_path, "r") as file: self.img_files = file.readlines()label_files = [ path.replace("images", "labels")....
2020-03-20 14:17:05
876
原创 文本检测时对图片进行方向矫正
在使用ctpn或者pse等文本检测算法时，首先要对文本图片进行矫正，本篇博文使用的是opencv2调用Tensorflow矫正模型达到矫正文本图片的目的，逻辑是使用矫正模型检测是图片的翻转角度，根据矫正模型输出的度数来利用opencv做flip操作。angleNet = cv2.dnn.readNetFromTensorflow(config['p...
2020-03-19 17:21:41
3208
10
原创 根据bounding box的四个点坐标信息，在原图上画出bboundingbox
import cv2import osimport numpy as npdef get_images(test_data_path): files = [] exts = ['jpg', 'png', 'jpeg', 'JPG'] for parent, dirnames, filenames in os.walk(test_data_path): ...
2020-03-18 16:23:40
2704
原创 转换IphotDraw产生的xml文件至Yolov3训练所需要的格式
最近在尝试目标检测的YOLOv3模型，首先得准备训练数据，自己找了一些图片标注了下，标注的工具是Iphotodraw，产生的文件是xml格式的，所以写了一个python3的脚本把xml文件里的数据转换成yolov3需要的格式。#-*- coding:utf-8 _*-"""@author:xxx@file: get_yolov3_train_data.py.py...
2020-03-18 09:22:57
175
原创 YOLOv3的dectect.py文件在服务器上保存结果图片
from __future__ import divisionfrom models import *from utils.utils import *from utils.datasets import *import osimport sysimport timeimport datetimeimport argparsefrom PIL import Image...
2020-03-11 20:16:23
303
3
原创 微服务图片数据请求测试
如果你起好了微服务，需要用client测试一下，记录一下。import base64,requests,jsonf=open("test.jpg",'rb')bin_data=f.read()img_data=base64.b64encode(bin_data)data={"data":{"data":img_data}}print(len(img_d...
2020-03-03 22:29:42
185
原创 OCR之人工合成识别模型数据的text_render
最近做自然场下的OCR识别，使用的是CRNN模型，因为需要训练数据，所以从github上找来了一个造数据的项目。 项目的地址为：https://github.com/Sanster/text_renderer 这个项目功能很强大，各种数据都很容易伪造，我记录下搭建它所需要的Docker环境。FROM vastai/...
2020-02-17 21:05:46
1707
原创 OCR之PSE检测算法代码详解(二)
接着上一篇的DataLoader，这一篇主要是train时候的笔记代码：import sysimport torchimport argparseimport numpy as npimport torch.nn as nnimport torch.nn.functional as Fimport shutilimport cv2from torch.autograd ...
2020-02-16 16:59:22
1270
4
原创 OCR之PSE检测算法代码详解(一)
原来文字检测算法一直用的是faster-rcnn系列的rpn网络，最近出现了很多不规则形状的文字，所以换成了PSE算法，从头看了一遍代码，所以把当时自己看过注释后的代码分享出来，有问题的话欢迎大家一起交流。 先介绍icdar2015_loader.py文件，它的主体是训练数据的DataLoader类，我们都知道这个类继承了data.Dataset，需要重写_...
2020-02-02 19:14:04
2434
原创 根据标注精灵助手标好并导出的json文件生成txt文件(一)
最近在做自然场景的OCR检测识别算法，对于检测来说，需要对文件图片进行ground truth坐标点label的标注，刚开始使用的是标注精灵助手，标注好boundingbox后导出的是json格式的文件信息，但是CTPN、PSE等文字检测算法的训练需要点坐标信息的txt格式文件，因此(重点了)： 当你准备做自然场景下的文字检测算法时，类似于CTPN/PSE等，你使...
2020-01-31 20:15:30
2347
原创 python中 numpy和list的切割[:,n]
numpy的 [ :,n ]和list的切割很像，很容易搞混，记一下 X[:,n]是numpy中数组的一种写法，记住中间有逗号，它表示取所有行的第n个数据, X[:,1] 就是取所有行的第1个数据。 今天项目比较忙，没工夫写例子了，需要的同学自己实验。...
2019-11-20 16:32:10
537
原创 python批量从每个文件夹下随机选取一张图片，保存至新的文件夹
场景： 现在一个文件夹目录下面有很多子文件夹，每个子文件夹下面都有若干图片，需要从每个子文件夹下面随机选取一张图片，存入新的文件夹。 代码很简单，但是很使用，你还可以根据自己的需要改成各种功能，比如把一张图片换成若干图片等。def random_copyfile(srcPath,dstPath): for dir_info in os.walk(sr...
2019-11-19 14:27:07
3309
2
原创 python批量修改一个文件夹下所有文件的名字
不管做什么工作，批量修改一个文件夹下所有文件的名字，是一个很常见的需求，所以写了一个简单的小脚本，记录一下：import os# 1. 获取一个要重命名的文件夹的名称：folder_name = "D://Program Files//JetBrains//image_augmentor//all_img"# 2. 获取那个文件夹中所有的文件名字：file_nam...
2019-11-19 14:11:38
2579
原创 python判断字符串是否为空方法总结
python判断字符串是否为空方法总结方法一：使用字符串长度判断如果 len(s) ==0 则字符串为空方法二：isspace判断是否字符串全部是空格如果s.isspace() 为True 字符串为空，否则非空方法三：直接判断是否为空if s == '' 字符串为空，否则非空方法四：使用strip()函数判断字符串是否为空strip() 方法用于移除字符...
2019-10-11 10:03:51
30303
1
原创 A标题统计 NOIP2018普及组
链接：https://ac.nowcoder.com/acm/contest/293/A题目来源：牛客网题目描述凯刚写了一篇美妙的作文，请问这篇作文的标题中有多少个字符？注意：标题中可能包含大、小写英文字母、数字字符、空格和换行符。统计标题字 符数时，空格和换行符不计算在内。输入描述:输入文件只有一行， 一个字符串s。输出描述:输出文件只有一行，包含一个整数，即...
2019-10-09 19:48:55
357
原创 python之getopt模块
前言 老大给我写了个简单的框架，里面用到了getopt模块，一开始很懵逼，研究后日常记录下这个模块。函数原型getopt.getopt(args, shortopts, longopts=[])参数解释args: 指的是当前脚本接收的参数，它是一个列表，可以通过sys.argv获得shortopts 是短参数 啥叫短参数啊？参数名短 类似于 这样：py...
2019-10-09 18:26:42
130
原创 位运算（与、或、异或、取反、左移、右移）
前言 今天想加一个QQ群，进群需要回答问题，刚看到这个问题一脸懵逼，群主有点东西哦？想了几秒钟只能确定这是个运算符，.但是把 |和||搞混了，不知道怎么下手。如果这个做不对，我计算机专业的老脸实在没处安放.....最后猜应该是位运算里面的或运算，填了15通过申请啦~所以把位运算相关的知识点梳理一下。 正文...
2019-10-04 18:13:55
1231
原创 python判断字符串是否是日期格式
前言 今天在做http传参的时候，需要做一个参数校验，其中有一个是字符串类型的时间参数，需要校验它是不是我们规定的时间格式：import datetimedef validate(date_text): try: datetime.datetime.strptime(date_text, '%Y_%m_%d') except Value...
2019-09-27 14:11:30
18994
转载 python之requests模块的GET、POST请求方式
python的requests模块可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）安装方式pip install requests基于GET请求response = requests.request("get", "http://www.baidu.com/") 如果你想添加headers，可以传入...
2019-09-23 16:14:42
1124
原创 python实现AES的加密解密
前言 好久没有写技术方面的博客了，校招进了一个金融支付公司，做的都是跟技术相关性不太强的工作，实在干的不顺心，申请去上海分公司做大数据/AI的开发了，第一个任务就是用flask把数据加密，然后存进ceph里面，虽然flask，ceph以前都没怎么听过，但是还是觉得做技术比较顺心，一周大概就能上手了，专门研究了下AES算法，分享一下。正文 首先介绍下AES(Advanced ...
2019-09-22 22:19:01
966
原创 读研实习的那些事
前言 最近有学弟学妹私下问我，自己在读研期间到底要不要找一个实习的工作去锻炼下自己？看得出他们挺纠结，所以打算写一篇帖子说一下我当年实习的情况和一些感想，该帖仅供计算机相关专业参考，嘻嘻。1.读研期间到底要不要去实习 如果你正处于研二，哪怕明知道自己不能出去实习，相信你也一定在某个时刻思考过这个问题，说明这个问题在读研期间的确是一个值得思考且挺重要的事情。那对于大部分同学来说...
2019-02-08 18:25:28
1464
2
原创 python的datetime模块
最近，要完成一个时间序列的项目，处理数据的时候用到了很多python中datetime和time模块的东西，所以今天先来整理一下datetime，以后有空再写一下time模块。 datetime其实是Python处理日期和时间的一个标准库。 1.获取当前的日期和时间 from datetime import datetimenow = datetime.now...
2019-01-30 17:15:39
119
原创 pandas读取CSV文件时，查看修改各列的数据类型格式
我们在调bug的时候会经常查看、修改pandas列数据的数据类型，今天就总结一下：1.查看： Numpy和Pandas的查看方式略有不同，一个是dtype,一个是dtypesprint(Array.dtype)#输出int64print(df.dtypes)#输出Df下所有列的数据格式 a:int64,b:int642.修改import pandas as p...
2019-01-23 13:47:48
9632
原创 获取Pandas列名的几种方法
获取DataFrame虽然是一个比较简单的操作，但是有时候到手边就是写不出来，所以在这里总结记录一下： 1.链表推倒式data = pd.read_csv('data/Receipt code January minute trading volume.csv')print([column for column in data])#打印结果['COUNT', 'S...
2019-01-23 10:43:31
74407
1
原创 Python 链表推导式的简单应用
最近去公司实习，要实现一个正态分布的统计模型，使用了python的链表推导式，对于它的使用有了一点心得。 python的列表推导式：
2019-01-22 10:26:29
161
原创 Pandas的append方法
以前只知道append()方法用户数组中，没想到pandas也有这个方法，所以记录一下。 # -*- coding: utf-8 -*-"""Created on Sun Nov 11 11:14:53 2018@author: wenhuatang"""import pandas as pd # 测试pandas.append方法def use_pd_...
2018-12-21 20:39:33
8876
1
原创 Python文本读取显示编码问题
Q1：读取文本文件出现UnicodeDecodeErrorA1：加入encoding='UTF-8' Q2：pd.read_csv读取中文文件名文件报错A2：pd.read_csv（，engine='python'） or pd.read_csv（open(file_name)） 例如：data_path = './'operation_train = pd.rea...
2018-12-21 20:02:57
236
原创 python的内置list和Numpy的array的区别及转换
1、Python的内置list Python中的list是python的内置数据类型，list中的数据类不必相同的。 在list中的数据类型保存的是数据所存放的地址，简单的说就是指针，并非数据，这样保存一个list就太麻烦了，例如list1=[1,2,3,'a']需要4个指针和四个数据，增加了存储和消耗cpu。2、Numpy中的array Numpy中的...
2018-11-19 15:01:44
584
原创 关于遍历Pandas的几种方法
前言 最近要做一个数据挖掘的比赛，又用到了Pandas的遍历，所以想系统的整理下pandas的东西。 Pandas是python的一个数据分析包，提供了大量的快速便捷处理数据的函数和方法。其中Pandas定义了Series 和 DataFrame两种数据类型，这使数据操作变得更简单。Series 是一种一维的数据结构，类似于将列表数据值与索引值相结合...
2018-11-04 18:46:06
6346
原创 Numpy的Reshape和Transpose
今天余凯同学用python在从mat文件里面读取图片信息时，遇到一个问题，matlab保存图片的时候默认的是(长 * 宽 * 图片个数)，他用python读出来numpy格式就是(长 * 宽 * 图片个数)，所以让我帮忙转换成(图片个数 * 长 * 宽)，好久不用python了，就想当然的用了reshape，后来发现自己把图片的信息改变了，最后想了一下是reshape和transpos...
2018-10-30 21:17:42
1569
原创 记西安葡萄城面试（开发岗）
也不知道为什么，每次去面试都会下雨，淅淅沥沥的那种！ 可能学校位置偏远，进个城都得一个多小时，消息闭塞，以前没怎么听过葡萄城，以为是我户太八号争气，扩大经营都搞到一个城的规模了，嘻嘻。。。秋招的时候才听同学说过葡萄城这个公司工资给的不错，加班很少，而且办公环境美的一批。我去网上查的时候人家都面完一轮了，我就抱着试试的心态网上投了下简历，没想到收到了面试的电话邀约，第二天就去了。...
2018-10-14 17:31:36
8850
8
原创 全概率公式(二)
1.条件概率公式 上一节讲了概率论的定义，这节主要讲全概率公式。说到全概率公式，就不得不先把条件概率公式交代清楚了。我们来先看看条件概率公式： 很多人每次用这个公式都得百度，隔好长一段时间不用，这个公式就想不起来了，那么该怎么理解它，下一次不用...
2018-04-23 17:22:12
3442
原创 概率论的定义(一)
下午去听了由学校和一些大数据企业联合组织的「大数据分析与算法培训班」课，首先讲的就是概率论，整个过程基本就是老师帮我们把以前关于概率论遗忘的知识串起来，所以晚上趁热打铁，把今天的内容知识小结一下。（总感觉有的知识注定不属于我，老师教给我，我又还给老师，老师再教给我，我再还给老师........来回打太极，所以小结一下。） 废话不多说，这次小结主要分为三大块： 一...
2018-04-23 14:25:37
2295
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人