- 博客(28)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 linux下安装tmux
linux下安装tmux：由于tmux依赖于libevent和ncurses-devel，所以应首先有这两个库，和相关的头文件。1.对于ncurses-devel，可用yum安装。yum install ncurses-devel2.对于libevent，这里我使用的是libevent源码安装，使用版本为libevent-2.0.20-stable.tar.gz (可百度)。安装步骤如下：这里附上libevent-2.0.20-stable.tar.gz资源记录https://download
2022-03-16 18:32:08
3015
原创 笔记整理，包括MySql查询接口和os的查询调用，还有文本处理等
eng = pymysql.connect(host='', user='root', password='mysql', database='')eng_gul = pymysql.connect(host='', user='root', password='mysql', database='')es_host_target = ""es_target = Elasticsearch([es_host_target], http_auth=('name', 'pswd'), port=9200)
2022-03-09 11:36:57
2236
1
原创 python向oss上传图片数据
# 这里是你云端需要输入东西的地方access_key_id = ''# 你的AccessKeySecretacce_key_secret = ''# bucket的名字bcket_name = 'image-search'# 访问节点（外网）endpoint = ''auth = oss2.Auth(access_key_id, acce_key_secret)bucket = oss2.Bucket(auth, endpoint, bcket_name)def result_os
2022-03-02 09:45:14
864
原创 python linux中打包指定文件
问题场景：有一个很大csv文件存储了不同类别的编号，然后对应编号的图片数据都在linux上，然后我需要每个类别取一小部分，将指定部分的数据从linux上打包下来解决方案：具体解决方案：import osimport datetimeimport tarfileimport pandas as pdfrom tqdm import tqdmimport cv2filename = '../resource/data_train_100.csv'df = pd.read_csv(fi
2022-01-19 17:24:22
1258
原创 基于PaddleDetection-YOLOV3做一个完整的图形目标检测项目
文章目录一、环境部署二、数据准备三、训练四、训练过程可视化五、模型预测一、环境部署1.1安装PaddlePaddle安装地址如下： https://www.paddlepaddle.org.cn/install/quick 1.2 安装COCO-APIpip install Cythonpip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI1.3 下载PaddleDetecti.
2022-01-19 15:29:34
4286
原创 数据增强，步骤整理，以后备用
方法一：self.transforms = transforms.Compose([ #对输入图像进行裁剪，保持图片中心点不变。transform = CenterCrop(224)。 transforms.CenterCrop(224), #随机调整图像的亮度，对比度，饱和度和色调。 transform = ColorJitter(0.4, 0.4, 0.4, 0.4) t
2022-01-11 10:34:24
2334
原创 将一个DataFrame随机拆分为几个较小的DataFrame并保存
eng = pymysql.connect(host='localhost', user='root', password='mysql', database='')sql = 'SELECT * FROM tpco'print('# ---- start to query -------- #')df1 = pd.read_sql(sql, eng)print('# ---- finish query -------- #')# 清洗数据shuffled = df1.sample(frac=1
2021-12-06 18:27:18
1961
原创 基于streamlit的图像检索系统前端页面制作以及python生成requirements.txt环境打包
文章目录前言一、安装streamlit二、使用streamlit实现前端1.引入库总结写在最后一、python安装包写入requirements.txt二、利用requirements.txt安装结束语前言摸鱼时刻，前段时间项目要求做一个图像检索接口，如期做完后，开始摸鱼在摸鱼的过程想着一个问题，就是我能不能把自己做的接口直接展示在页面上，等着前端排期太慢了- -别说，还真有特别简单的方法，可以通过streamlit这个框架（我理解为框架类似于Flask、Django等）一、安装stream.
2021-11-26 10:00:00
1601
原创 在github与git的使用中一路摸爬滚打
文章目录前言一、安装Git二、使用PyCharm推送到Github1、在Pycharm工具中配置集成Git和GitHub2、推送项目到版本库（成功的前提是先看3.1）三、使用Git推送到Github1、秘钥生成并复制到Github（重中之重）2、git上传项目总结前言这天，又是摸鱼的一天，摸鱼过程中突发奇想别的大佬都是将优秀的代码放在github上，然后给予我这样的咸鱼能反复下载（cpoy）的机会，但是，我可以嘛？我能装一次dalao也在github留下我的一笔痕迹嘛？想法很好，过程很.
2021-11-25 12:04:33
418
原创 Pytorch多卡训练后的模型在使用过程中的一些坑
if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") model = torch.nn.DataParallel(model)多GPU环境计算loss解决方法：将多卡得到的loss进行mean，求平均：loss_avg.backward() -----> loss_avg.mean().backward()多GPU环境下对模型的保存：#
2021-10-11 15:14:23
487
原创 pytorch进行单机多卡训练
首先得要了解本机有几张卡可以用：nvidia-smi模型用DataParallel包装一下：device_ids = [1, 2, 3] # 可用GPUmodel_t = torchvision.models.resnet152()fc = model_t.fc.in_featuresmodel_t.fc = nn.Linear(fc, len(df_dict))model_t = torch.nn.DataParallel(model_t, device_ids=device_id.
2021-10-09 10:49:32
263
原创 cv2与Image读取字节流中的图片
from io import BytesIOimport cv2import matplotlib.pyplot as pltimport requestsimport numpy as npfrom PIL import Imagere = requests.request('GET', "https://zhisheng-picture.oss-cn-hangzhou.aliyuncs.com/29036669.jpg")print(re.content)# filename = '1.
2021-10-08 11:38:18
1264
原创 基于torch中自带的models，进行训练
记录一下自己写的基于torchvision中resnet50模型进行的训练，然后修改了全连接层，让class_num 为目标类别。数据是从mysql中获取的，# -*- coding: utf-8 -*-# @Author : Mumu# @Time : 2021/9/13 17:32'''@Function: 用于训练torch模型'''import datetimeimport pandas as pdimport pymysqlimport torch.cudafro
2021-09-16 18:12:27
1575
原创 OSError: image file is truncated (1 bytes not processed)解决方案
今天用paddle的框架做训练时遇到的一个问题：W0914 13:56:32.486941 21077 device_context.cc:404] Please NOTE: device: 3, GPU Compute Capability: 7.5, Driver API Version: 10.2, Runtime API Version: 10.1W0914 13:56:32.492003 21077 device_context.cc:422] device: 3, cuDNN Version
2021-09-14 14:17:02
1762
原创 学习之路1
学习目标：学习知识学习内容：星级接口处理图片黑白剪裁接口近似检索接口学习时间：2021年9月7日09:49:43学习产出：# 这两行的作用是将字符串text中所有中文或者所有英文都选取出来 ch_str = ''.join(re.compile('[\u4e00-\u9fff]+').findall(text)) # '[\u4e00-\u9fff]+'表示汉字 + 表示一个或多个 en_str = ''.join(re.findall(r'[A-Za-z
2021-09-13 15:57:42
42
原创 图片灰度处理
#使用，最大值法print('第1种：最大值法(max)') #如果使用最小值（min），会很暗，数值偏向0,黑im_data1 = im_data.max(axis=2)display(im_data1.shape)plt.imshow(im_data1,cmap = 'gray')print('第2种：平均值法(mean)') #稍微暗些im_data2 = im_data.mean(axis=-1)display(im_data2.shape)plt.imsho
2021-09-13 15:57:13
65
原创 python中mysql 批量查询
import pymysqlimport pandas as pdfrom tqdm import tqdm# 创建连接对象也就是为了连接到本地的数据库engine = pymysql.connect(host='xxx', user='xxx', password='xxx', database='xxx', )regonls = pd.read_csv('xxx.csv')cursor = engine.cursor()# 批量查询for i in tqdm(range(len(re
2021-08-25 15:19:04
2111
1
转载 failed: Connection timed out. Connecting to raw.githubusercontent.com (raw.githubusercontent.com)
错误非常常见,主要是系统过于精简所以很多包没有安装解决方法在Wget后面添加"–no-check-certificate"如下所示:wget --no-check-certificate 你要下载的SSL网址第二种解决办法就是安装ca-certificatesapt-get install ca-certificates -y或者是apt-get install ssl-cert...
2021-08-24 14:18:55
559
原创 2021-08-23
学习目标：学习图像处理基本概念学习内容：1. 图像处理的概念与基本操作2. OpenCV库基本操作3. OpenCV库进阶操作4. 使用OpenCV摄像头与加载视频5. 图像分类任务概念导入6. PaddleClas数据增强代码解析参考资料：https://blog.csdn.net/Lovely_him/article/details/114355234学习时间：2021年8月23日16:52:52学习产出：1. PIL读取图片from PIL import Imag
2021-08-24 14:07:09
80
原创 pandas.isin(list)
问题场景：有一个csv700w+条数据，# 问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();
2021-08-20 17:02:43
537
原创 torch编写dataloader记录
项目场景：需要编写一个dataloader批量读取图片数据解决方案：from torch.utils.data import Dataset, DataLoaderfrom torchvision.transforms import transformsimport cv2import torchdef load_cifar100(path): img = cv2.imread(path) img = cv2.resize(img, (224, 224)) img
2021-08-19 17:32:58
155
原创 Linux查看文件和文件夹大小
今日学习记录Linux查看文件和文件夹大小pandas按行按列遍历Dataframe的几种方式Linux查看文件和文件夹大小查看目前所有文件系统的可用空间及使用情形df -h2.查看文件或文件夹的磁盘使用空间du -h --max-depth=1 your_dest_dirpandas按行按列遍历Dataframe的几种方式参考：https://blog.csdn.net/sinat_29675423/article/details/87972498按行遍历iterrows():
2021-08-19 15:03:04
58
原创 2021-08-16 学习通过python向elasticsearch中插入图片向量数据
任务需求：向elasticsearch中插入海量图片向量数据，决定用python完成，测试好代码可以将代码放在服务器上，新建一个tmux一直跑，整个周期肯定贼长，图片数据大概在1500w+，导入相应所需的包import pandas as pdimport torchfrom elasticsearch import Elasticsearchimport torchvision.models as modelsimport torchvision.transforms as transfor
2021-08-16 17:04:51
440
导入POI,导入代码
2020-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人