- 博客(45)
- 资源 (8)
- 收藏
- 关注
原创 目标检测_YOLO V4
YOLOV4Paper:https://arxiv.org/abs/2004.10934GitHub:https://github.com/AlexeyAB/darknet跑通官方代码:# 创建虚拟环境conda create -n py37_yolo python=3.7source activate py37_yolo# 安装 opencvpip install opencv-pyth...
2020-04-29 22:51:44
1262
原创 labelme_unbuntu 安装 labelme
卸载 enum34 :pip uninstall enum34安装 labelme:pip install labelme -i https://pypi.tuna.tsinghua.edu.cn/simple启动 labelme:labelme
2020-04-12 22:20:06
285
原创 linux_查看 Nvidia 驱动版本、Cuda、Cudnn 版本号
查看 Nvidia 显卡利用率:显存占用和算力情况。# 0.5 秒更新一次显卡利用情况,并查看 NVIDIA 驱动版本watch -n 0.5 nvidia-smi2. 查看 Cuda 版本:cat /usr/local/cuda/version.txt查看 Cudnn 版本:cat /usr/local/cuda/include/cudnn.h | grep CUDN...
2019-12-16 10:35:59
30787
2
原创 linux_安装 Anaconda 后使其新打开的终端自动进入 python 的 base 环境
1.打开一个终端 ,输入命令:gedit ~/.bashrc2.在 .bashrc文件最后面添加命令:conda activate再重新打开终端即可看见base字样若在终端中输入conda deactivate,也可消除base字样,但是一次性的,再次打开终端依然存在base字样。在.bashrc文件添加命令:conda deactivate可以永久消除base字样。...
2019-12-13 16:54:52
2039
原创 数据预处理_数据标准化
处理时序数据或者非图像类数据时候,如果所选用的模型的数据假设是:数据特征分布是高斯分布,则在归一化时候采用 “均值-方差标准化”,标准化后的数据分布呈正太分布,均值为 0, 方差为 1 的正太分布。如果原始数据的分布可以近似为高斯分布,否则标准化的效果会变得很糟糕。在实际部署过程中,训练集和测试集是分开的,如果在训练集中使用了 Sklearn 中的 StandardScaler(),均值方差标...
2019-12-09 11:01:48
390
原创 机器学习交叉验证选择模型
非时序和时序数据进行交叉验证方法# 设置交叉验证集的折数from sklearn.model_selection import cross_val_score, KFoldkf = KFold(n_splits=10, random_state=42, shuffle=False)# kf = KFold(n_splits=5, random_state=42, shuffle=False...
2019-11-27 16:44:52
1077
3
原创 python 去除 txt 文件中,周围检测框的重复框
去重 CV 检测框的 50 pix 像素值内的重复框:如果缺陷类型一样,有重复框则取检测分数最大的框;如果缺陷类型不一致,则保留两个框;思想:先找到每一个缺陷的几何中心 50 pix 内的所有框;按照框进行缺陷类型分组:做去重处理;删除位于同一范围内的缺陷;合并小于 50 像素值和大于 50 pix 的框;用法:依赖以下 3 个方法,直接调用第 3 个方法 remove_d...
2019-11-11 18:54:41
481
原创 把 a.py 编译生成 a.pyc 文件
把 app.py 编译生成 app.pyc 文件import os, shutilimport py_compilecompile_dir = './'if(os.path.exists(compile_dir + 'app.py')): py_compile.compile(compile_dir + 'app.py') app_pyc_path = './__...
2019-10-29 13:55:17
203
原创 pip 批量下载包到指定目录
pip download -r requirements.txt -d ./temp./temp 是下载包到目标目录requirements.txt 需要下载的包
2019-10-21 17:38:56
2003
原创 ubuntu 操作_文件夹权限_复制文件夹_释放 GPU 显存
注销用户 xorg 界面:终端输入:htop 找到进程 pid 数,kill pid 数
2019-09-09 08:54:32
159
原创 忽略弹出的 warnings_ workalendar(节假日时间处理)_进度条
import warningswarnings.filterwarnings('ignore')from workalendar.asia import China # 节假日计算包def cal_holiday(): cal = China() for i in cal.holidays(2019): # print(i[0]) print(i)cal_holiday()...
2019-09-02 13:45:58
1487
原创 python 操作 csv 编码问题,繁体字体乱码
# -*- coding: utf-8 -*-#import osimport pandas as pddef get_file(): work_dir = './人工可以区分除霜与非除霜_99/' file_list = os.listdir(work_dir) lk = pd.DataFrame() lk['file_name'] = file_lis...
2019-08-26 08:27:36
2078
原创 python 创建多层感知机,神经网络
# 多层感知器, 神经网络from sklearn.neural_network import MLPRegressor# 设置交叉验证集的折数# 时间序列分割from sklearn.model_selection import TimeSeriesSplittscv = TimeSeriesSplit(max_train_size=None, n_splits=13)def cv...
2019-08-05 17:35:10
621
原创 python 正则表达式取小括号里的字符串
import rep1 = re.compile(r'[(](.*?)[)]', re.S) #最小匹配freezer_kind = re.findall(p1, file_name)
2019-08-05 17:29:34
7527
原创 python 读取二进制 bin 文件,解析为数字信息, 缩放到某一范围且画图
# 读取数据 bin 文件import pandas as pdimport numpy as npimport osimport matplotlib.pyplot as pltimport structdef read_data(): file_dir = './' file_name = 'Raw Data-1-1Y520230404-10-14-03_8192...
2019-08-02 17:30:26
3049
2
原创 将机器学习模型部署为 REST API_搭建自己的 python 环境
说明:https://mp.weixin.qq.com/s/U0a44nY6oIOnrPLS1V1RWg参考代码:https://github.com/mnguyenngo/flask-rest-setup/tree/master/sentiment-clf
2019-08-01 10:06:19
525
原创 python matplotlib 画图
import matplotlib.pyplot as plt# 设置画布大小plt.figure(1, figsize=(26, 13))# 获取坐标轴ax = plt.gca()for label in ax.get_xticklabels(): # 横轴标签旋转 30° label.set_rotation(30) label.set_horizontalalignmen...
2019-08-01 10:02:01
220
原创 pandas 读取 excel 并分析出变量间的关系(相关性、和各个字段的信息)
import osimport pandas as pdimport pandas_profilingfile_dir = './'file_name = '201905301.csv'file_name_ = os.path.splitext(file_name)[0]file_path = os.path.join(file_dir, file_name)# 读取 excel...
2019-08-01 09:57:02
606
原创 数据在处于正太分布的前提下,用箱型图进行正太分布检验
# 获取 list 上限和下限def get_up_limit(tem_list): tem_list = list(tem_list) percentile_temperature_end = np.percentile(tem_list, [0, 25, 50, 75, 100]) IQR_temperature_end = percentile_temperatur...
2019-08-01 09:54:06
352
原创 检验一组数据是否是正太分布
python 检验一组数据是否处于正太分布https://www.jianshu.com/p/7356cc80a96f
2019-08-01 09:51:20
725
原创 GBDT 多目标输出,网格搜索思想,寻找最优参数
# -*- coding: utf-8 -*-##-------------------------------------------------------------------------------# Name: 参数优化# Description: # Author: shichao# Date: 2019/2/7#-----...
2019-07-19 18:13:17
1860
原创 Adaboost 多目标输出, 网格搜索思想,寻找最优参数
# -*- coding: utf-8 -*-##-------------------------------------------------------------------------------# Name: 参数优化# Description: # Author: shichao, 联系方式: 961771865# Date: ...
2019-07-19 18:10:08
2879
原创 时序数据特征提取:用 pandas 进行上采样、下采样
# 对温度做分段常数逼近处理,下采样def constant_appro_low(df_data_by_date_tem): df_data_by_date_tem = df_data_by_date_tem.reset_index(drop=True) df_appro = pd.DataFrame() date_index = pd.date_range(end = ...
2019-07-19 08:42:38
3006
原创 机器学习建模步骤
需求分析:目标:需要做到什么,才能满足客户的需求。过程:来回、反复、沟通确认。数据探索:确定目标变量:y初步分析特征变量:X分析 y 的分布:正态性分布、对数转换等。分析 X 的相关性:分析 y 与 X 呈什么关系:线性、非线性等。特征工程:特征提取(特征较多时,提取主要特征)特征扩充(特征较少时,增加特征)特征处理:归一化、标准化、差分处理、特征变换等。目标变量处理:...
2019-07-15 19:06:58
1169
原创 时序数据做交叉验证,选择模型,选择参数,用以查看模型是否收敛
# 时间序列分割from sklearn.model_selection import TimeSeriesSplittscv = TimeSeriesSplit(max_train_size=None, n_splits=17)def cv_mae_(model, train_X, train_y): “” model: 模型对象 train_X: 训练集 train_y: ...
2019-07-15 15:32:21
1479
原创 机器学习,模型保存,模型加载
# 保存模型from sklearn.externals import joblibdef save_model(mult_model, model_save_path): """ :param mult_model: 待保存的模型对象 :param model_save_path: 保存路径,例如 "./model.pkl" :return: 没有返回值 ...
2019-07-15 15:20:13
444
原创 多目标任务 Xgboost 参数优化,通过交叉验证方法选择最优参数(一次输出多个 y )
import osimport numpy as npimport pandas as pdimport timefrom sklearn.multioutput import MultiOutputRegressorimport matplotlib.pyplot as plt# 核心代码,设置显示的最大列、宽等参数,消掉打印不完全中间的省略号pd.set_option('dis...
2019-07-15 15:18:01
4246
2
原创 pycharm 中控制台让 dataframe 显示更多一点
https://www.jianshu.com/p/a93fe1423bc5在 pycharm 中没有省略号显示import pandas as pdpd.set_option('display.max_columns', 100) # 设置显示数据的最大列数,防止出现省略号…,导致数据显示不全pd.set_option('expand_frame_repr', False) # 当列...
2019-06-17 14:24:42
1646
原创 目标检测总结
尽量选择支持 VOC 格式的数据集的算法,目前仍然以两阶段为主,faster-rcnn-fpn 网络为 backubone 为主,以商汤 mmdetection 为代表。https://blog.csdn.net/hajlyx/article/details/83542167VOC 与 coco 数据集区别,coco 格式数据集作为输入会过滤掉没有目标的图片,会造成负样本大量减少。VOC 格...
2019-06-13 08:59:50
301
原创 python时间字符串操作
字符串 ‘20180418’ 转换成时间 2018-04-18 00:00:00from dateutil.parser import parsedate_str = '20180418'date_str = parse(date_str)秒转换成日期 ,def secondsToStr(seconds): x = time.localtime(seconds) ...
2019-04-18 10:39:47
1055
1
原创 Python 记录异常和写日志
python 2 :try: my_fun()exception exceptions as e: print (e)python3:try: my_fun()exception Exception as e: print (e)
2019-04-15 11:39:31
4261
1
原创 linux_上传、下载文件
scp -r huipu@61.218.118.226:/workspaces/huipu/api/api/darknet.py workspace/project/AOI_1/从 61.218.118.226 上服务器上 用户名 为 huipu 的路径下 /workspaces/huipu/api/api/darknet.py下载到 本地服务器 上 workspace/project/A...
2019-03-11 11:40:36
208
原创 linux下,anaconda python 相关操作
创建虚拟 python 环境# 创建名称为 py26 ,python 版本为 2.6 的虚拟环境conda create -n py26 python=2.6# 切换到 py26 环境source activate py26# 变比当前 py26 虚拟环境source deactivate py26...
2019-03-04 09:06:47
253
原创 python3、DataFrame 操作(删除重复行、重置索引,纵向合并、)
删除重复行df = df.drop_duplicates()重置索引df = df.reset_index(drop=True)纵向合并 dfdf_1 = pd.DataFrame()df_2 = pd.DataFrame()df = pd.concat( [df_1, df_2], axis=0)
2019-02-25 17:48:01
10812
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人