python
一口气吃五碗饭的阿霖
这个作者很懒,什么都没留下…
展开
-
Open images v6 + Yolov5 轻松获取数据并做2D目标检测
如何使用fiftyone 下载 openimages 数据集 和yolov5 训练经验原创 2022-09-22 16:15:04 · 2220 阅读 · 3 评论 -
[debug] ssh WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
ssh 问题原创 2022-06-01 11:17:55 · 208 阅读 · 0 评论 -
【nvidia jetson】AGX ORIN 开箱配置
目录SDK MANAGERReferenceSDK MANAGER首先在你的电脑(ubuntu系统)上下载SDK manager下载连接用盒子内的type-c接usb线连接电脑和jetson开发板,按下开机按钮和恢复按钮 。一般情况下Target hardware会检测出板子的型号。确认好了之后点击 右下角的绿色按钮 CONTINUEReferenceJetson AGX Orin 开发工具包入门第一次用Jetson Nano 就上手...原创 2022-04-22 14:11:41 · 2371 阅读 · 3 评论 -
【debug】torch.tensort.put_ 函数 :IndexError: out of range: tried to access index 12470642 on a tensor
为了解决这个bug 首先我去查看了一下官方关于这个函数的描述https://pytorch.org/docs/stable/generated/torch.Tensor.put_.html函数参数一共有3个 index(LongTensor) – the indices into self source(Tensor) – the tensor containing values to copy from accumulate(bool) – whether to...原创 2021-12-14 14:15:28 · 964 阅读 · 0 评论 -
python 爬虫 简单爬虫教程(requests + selenium )
最近改了实验室之前的爬虫,感觉有些生疏了,故此记录一下,我将会通过抓取网站 https://nonfungible.com/ 来进行讲解。requests + Chrome 浏览器使用Chrome 对目标网站信息进行解析首先 打开使用chrome 浏览器打开目标网页,按下 f12 键打开开发者界面。点击Network 选项。开始前可以点击清除图表清理一下请求信息。然后,点击下一页图表,你会发现下面出现了一大堆请求信息。然后,将你想要在网页上爬取的信息复制,在下面的请求信息的Response原创 2021-10-22 14:27:20 · 17141 阅读 · 2 评论 -
时间系列预测的Deep transformer模型:流感流行病例
目录首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。1 文章来源链接2 Abstract首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。1 文章来源链接https://arxiv.org/pdf/2001.08317.pdf2 AbstractIn this paper, we present a new approach to time series forecasting. Time series d原创 2021-10-09 23:14:14 · 2077 阅读 · 6 评论 -
python BUG 记录: ModuleNotFoundError:No module named ‘sklearn.ensemble.weight xxxxxxx.....
这个问题是 当我将一些机器学习模型训练完并使用 joblib包将模型权重保存起来之后 我想要再次调用遇到的. 在网上查找了一下发现有可能是 scikit-learn的版本出了问题。Solution:pip install scikit-learn==0.21.3...原创 2021-10-05 16:14:44 · 1351 阅读 · 0 评论 -
pytorch 多个GPU 只想用其中几个gpu时
import osos.environ['CUDA_VISIBLE_DEVICES'] = '2,3'这样就只会用到 编号2和3 的GPU了不过需要注意的是 在代码中这两个的编号会变成 0,1原创 2021-08-24 16:36:08 · 362 阅读 · 0 评论 -
bug 解決記錄 安裝成功的包卻依然調用不了
這是同事遇到的一個問題,就是在服務器上的虚拟环境envA中 明明安裝了 tensorflow-gpu 但是卻始終無法檢測到cuda 一開始懷疑是因為 cuda 或者 CUDnn這一部分有問題 後面檢查之後發現完好 驅動也正常。於是使用命令pip -Vpython -V发现虽然我们已经通过 conda activate envA 进入了环境里面了 但是pip 指向的是 原生的python(不是这个虚拟环境的python)于是我们最后使用:python -m install ten.原创 2021-08-21 17:35:29 · 57 阅读 · 0 评论 -
记录一个 自动调整超参数的pytorch 函数
https://pytorch.org/docs/master/optim.html#module-torch.optimfrom torch.optim import lr_schedulerscheduler = StepLR(optimizer, step_size=30, gamma=0.1)原创 2021-08-19 11:36:56 · 567 阅读 · 0 评论 -
Energy python API 代码学习
content官方文档官方链接官方代碼試跑TestRuntime官方文档官方链接链接: 快速上手手册.链接: 输入输出参考模板.链接: 官方樣例代碼.官方代碼試跑TestRuntime首先跑的是這個 TestRuntime.pyclass runtime.Runtime(api: <ctypes.LibraryLoader object at 0x7fdff3d3bb70>)[source]Bases: objectThis API class enables a cl原创 2021-08-02 17:44:53 · 1179 阅读 · 3 评论 -
python matplotlib plt.plot 简单折线图 代码实现
import pandas as pdimport numpy as np# 随机生成数据x1 =np.random.rand(10)x2 =np.random.rand(10)fig,ax = plt.subplots( figsize = (10,6)) # figsize 可以修改画布大小# 画图 ax.plot(x1,label = "x1",linewidth=3, linestyle="--")ax.plot(x2,label = "x2",linewidth=3, li原创 2021-07-15 11:04:24 · 308 阅读 · 0 评论 -
python 正则表达式 提取数据中的负数和正数
这是一个BUG记录我想提取的数据 格式大概是这样的 “-128%” 或者是 128%def findElement(original,suffix): element = re.findall(suffix,original, re.S) if element == []: return "" else: return element[0]一开始我写成了只提取数字 结果没法提取到数字的正负findElement(line[4],"(\d+)%原创 2021-06-24 15:46:55 · 6065 阅读 · 0 评论 -
相关性分析 自由度蛮高的热力图的函数
import seaborn as snsdef heapMapPlot(data,key_list,savepath='relation/heatmap.png'): ''' 基于相关性系数计算结果来绘制热力图 ''' colormap=plt.cm.RdBu data=np.array(data) fig,ax=plt.subplots(figsize=(12,12)) #不指定颜色带的色系 # sns.heatmap(pd.Data原创 2021-06-21 16:51:36 · 364 阅读 · 0 评论 -
释放 GPU 显存
在训练深度网络的时候我们常常使用GPU进行加速可是由于种种原因会导致我们的程序不运行了之后把显存占用。解决方式:1、查看这个进程的GPU情况pmap -d PID2、通过制定用户查看进程信息ps -u <你的id>如果使用命令nvidia-smi不显示占用GPU显存的进程,可以使用以下命令查看:fuser -v /dev/nvidia03、删除掉进程kill idRefer:https://blog.csdn.net/LCCFlccf/article/detail原创 2021-06-21 14:10:39 · 1571 阅读 · 0 评论 -
TensorFlow 运行老版本出现问题?
import tensorflow.compat.v1 as tftf.disable_v2_behavior()原创 2021-06-16 13:37:55 · 98 阅读 · 0 评论 -
通过两点经纬度求在地球上的距离
ContentHaversine公式python 代码实现ReferenceHaversine公式haversin(θ)=sin2(θ2)=1−cos(θ)2haversin(\theta) = sin^2(\frac{\theta}{2}) = \frac{1-cos(\theta)}{2}haversin(θ)=sin2(2θ)=21−cos(θ)求距離公式hav(dr)=hav(φ1−φ2)+cos(φ1)cos(φ2)hav(λ1−λ2)hav(\frac{d}{r}) = hav原创 2021-06-07 14:09:53 · 184 阅读 · 0 评论 -
使用差分进化算法寻找机器学习模型的超参数
首先上代码:这是基于geatpy差分进化算法包的调参合集代码中模型包括 catboost xgboost lightgbm Adaboost SVR gbdt bagging ExtraTrees RandomForest 等的回歸模型代码会自动保存所有模型的参数 模型权重和模型评估指标只需要简单切分一下训练集和测试集即可使用实例:from Frame import Genetic_geatpy # 导入git上的库from sklearn import datasets # 包含原创 2021-06-02 11:07:35 · 602 阅读 · 0 评论 -
使用 selenium 爬取谷歌地图的经纬度
虽然没几个人看 但是还是写一下代码仅供学习分享,禁止用于盈利或其他违法犯罪事件The code is only for learning and sharing, and is not allowed to be used for profit or other illegal or criminal activities思路 :谷歌搜索地名的时候经纬度会出现在url中,所以我们可以利用这个来获取经纬度由于谷歌在搜索地址的时候有可能因为网络原因 url依旧显示的是你电脑所在的地址所以必须要先获取原创 2021-06-02 10:23:15 · 672 阅读 · 0 评论 -
python Geatpy包的实现进化算法多线程多进程的单目标優化 优化模型參數
深度模型的超参数,由于模型计算量大,计算时间长,往往会采用运气调参,或者随机搜索调参来进行。今天打算记录一下使用Geatpy包对超参数进行进化算法的参数优化实现。讓我們先看看文檔http://geatpy.com/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=http%3A%2F%2Fgeatpy.com%2Fwp-content%2Fuploads%2F2020%2F10%2F4.%E8%BF%9B%E5%8C%原创 2021-05-31 12:02:41 · 1992 阅读 · 1 评论 -
python bug记录 无法实例化自定义的类 程序卡在实例化自定义的类上
这是一个很尴尬的问题正常来说 python 是一个弱定义的语言 对于变量的type不会有过多的限制比如说class myClass(): def __init__(self): print("instantiation myClass")myclass = myClass()初始化之后会打印 “instantiation myClass”然而 有些时候,我们会给我们的类的参数加入一些default值这个时候就会出现,实例化的时候解释器找到了这个名称的类 但是找不到对应变量类原创 2021-05-25 10:46:17 · 400 阅读 · 0 评论 -
pandas 对数据进行逻辑上的分割操作后 将分割出来的数据集行序列重新整理成0-1
当对Dataframe 进行过切割操作之后生成的子Dataframe 中的航序列会因此改变这个时候就需要重新将正序的行序列写入 DataframedataList = []for i in range(5): li = data.loc[ [line for line in range(i,data.shape[0],5)],]#对数据进行交替式分割 # 分割完之后的li 不再是 【0,1,2,3,4,5】 而是 【0,4,9,14】 renameDict = {} # 定原创 2021-05-24 17:58:16 · 235 阅读 · 0 评论 -
python 贝叶斯优化调参 代码实现
这是目录环境安装优化类的实现环境安装pip 的可以使用这个$ pip install bayesian-optimizationconda的可以使用这个$ conda install -c conda-forge bayesian-optimization优化类的实现# 导入包from sklearn import metricsimport numpy as npimport matplotlib.pyplot as pltimport catboost as cbclass原创 2021-05-24 16:35:28 · 3667 阅读 · 0 评论 -
python bug记录安装包的时候出现 443
有可能这个python是国外源,在安装命令后面加上国内的源即可pip install geatpy -i https://pypi.tuna.tsinghua.edu.cn/simplerefer:https://zhuanlan.zhihu.com/p/109939711原创 2021-05-20 11:45:20 · 133 阅读 · 0 评论 -
sklearn 机器学习中的回归模型 简单使用代码记录
以下模型都将使用波士顿房价数据集进行测试目录准备工作导入数据集切分数据集评估指标函数模型Linear ModelsKNNSVMDecisionTreeRandom forestBaggingXgboostLightgbmCatboostGradientBoostingRefercence准备工作导入数据集from sklearn import datasets # 导入库boston = datasets.load_boston() # 导入波士顿房价数据print(boston.keys原创 2021-05-12 17:33:18 · 387 阅读 · 2 评论 -
sklearn学习 使用sklearn包的MultiOutputRegressor 处理集成学习(XGBoost GBDT 等)多回归的问题
有些时候 我们需要通过相同的feature来预测多个目标,这个时候就需要使用MultiOutputRegressor包来进行多回归多输出回归支持 MultiOutputRegressor 可以被添加到任何回归器中。这个策略包括对每个目标拟合一个回归器。因为每一个目标可以被一个回归器精确地表示,通过检查对应的回归器,可以获取关于目标的信息。 因为 MultiOutputRegressor 对于每一个目标可以训练出一个回归器,所以它无法利用目标之间的相关度信息。以下是 multioutput regre原创 2021-05-12 16:19:45 · 8277 阅读 · 4 评论 -
python numpy使用记录
Python中numpy数组的拼接、合并https://blog.csdn.net/qq_39516859/article/details/80666070numpy–拆分以及合并矩阵https://blog.csdn.net/qq_41342577/article/details/81153577?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefau原创 2021-05-12 14:22:56 · 53 阅读 · 1 评论 -
python学习 简单使用多进程、进程池来提高程序速度
最近爬取一个网站的数据,但是速度太慢了,所以想要利用多线程或者多进程的方式来爬取代码。前言翻阅了一下网上的资料,发现很多人对python多线程嗤之以鼻, 详情请点击这里 大概是说python的多线程不是真正意义上的多线程!因为python的解释器Cpython有一个叫做 **Global Interpreter Lock(全局解释器锁)**的东西,由于GIL锁存在,python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行)。多线程(英语:multithreading),是指从软件或原创 2021-05-12 11:24:25 · 483 阅读 · 1 评论 -
pandas 对标签使用unique()函数进行 label编码报错 ValueError:nan is not in list
错误信息截图后面发现 可能是因为unique() 取唯一值的时候,由于该列的数据类型是 int64的类型 所以直接当做这个元素的唯一值了 吼吼吼解决办法是使用 .apply(str) 转成字符串v['A'] = v['A'].apply(str)...原创 2021-04-26 17:43:57 · 1218 阅读 · 0 评论 -
sklearn學習 使用 IterativeImputer 进行多重数据插补
最近在处理一些数据,缺失情况比较严重 但是又舍不得删掉,决定试一下这个多重数据插补的包(IterativeImputer )原创 2021-04-22 15:39:16 · 4489 阅读 · 0 评论 -
Nvida jetson nano 学习 : Aarch64 平台 安装GPU版本的 pytorch
最近在学习Nvida jetson nano 一个深度学习的嵌入式平台 记录一下安装pytorch-GPU的过程 首先 nvidia jetson 有自带的cuda和Python3 版本是3.6.9 这里要注意不要安装其他的Python 了 以免覆盖掉他的原生python1. 修改 CUDA的路径打开 .bashrc 文件sudo gedit ~/.bashrc往文件末尾加入下面这三句 要注意 加的时候 去 /usr/local/下 看看cuda的版本免得加错了export.原创 2021-04-16 17:58:16 · 3438 阅读 · 9 评论 -
[Nvida jetson nano 学习] 使用 CSI came
# MIT License# Copyright (c) 2019 JetsonHacks# See license# Using a CSI camera (such as the Raspberry Pi Version 2) connected to a# NVIDIA Jetson Nano Developer Kit using OpenCV# Drivers for the camera and OpenCV are included in the base imageimpo..原创 2021-04-14 13:51:07 · 200 阅读 · 1 评论 -
pandas 將數據字符裝換成時間搓
chillerData['Date_Time'] = chillerData['Date_Time'].apply(lambda x:time.mktime(time.strptime(x,'%Y-%m-%d %H:%M:%S')))time.strptime(x,’%Y-%m-%d %H:%M:%S’)函數原型 time.strptime(string[, format])返回:struct_timetime.mktime(time.struct_time)返回:時間搓pandas.appl原创 2021-04-01 11:09:35 · 38 阅读 · 0 评论 -
python pandas包 读取和修改数据文件 常用接口记录
因为经常用到pandas处理一些数据,所以在这里记录一下pandas 读取文件原创 2021-03-21 22:30:57 · 350 阅读 · 0 评论 -
python os包 常用函数记录 遍历查找文件 路径拼接
python 数据分析 os包 常用函数记录递归查找目录下的数据文件 os.walk() os.listdir(path)获取路径的文件名 os.path.basename(filePath)创建目录 os.makedirs(path)拼接路径 os.path.join(rootpath, file)判断尝试访问的路径是否存在 os.access(path, mode)网上找到的一些有趣的funtion递归查找目录下的数据文件 os.walk() os.listdir(path)os原创 2021-03-21 18:21:26 · 223 阅读 · 0 评论 -
pyEcharts环境配置及简单使用
pyEcharts环境安装代码实现环境安装参考链接:pyecharts的安装使用.pip install pyechartspip install echarts-countries-pypkg pip install echarts-china-provinces-pypkgpip install echarts-china-cities-pypkg安装完成后可能出现 jupyter notebook 提示没有这个包已经用coda进入了虚拟环境 在虚拟环境装了 不知道为什么没有目前原创 2020-11-17 23:47:29 · 531 阅读 · 0 评论 -
python 画图 : 简单的时间折线图
Table of Contents简单的时间折线图先导入必要的包导入需要画图的数值csv文件(或者其他类型的文件都可以)开始画图简单的时间折线图先导入必要的包如果有需要中文标注的需要加上:mpl.rcParams['font.sans-serif'] = ['SimHei']否则中文会显示一个小小的长方形# -*- coding: utf-8 -*-...原创 2019-10-16 11:34:41 · 2746 阅读 · 0 评论