Python
RessCris
怕什么真理无穷,进一寸有一寸的欢喜
展开
-
coco_eval 使用
coco 的评估函数对应的是 pycocotools 中的 cocoeval.py 文件。从整体上来看,整个 COCOeval 类的框架如图:基础的用法为cocoGt, cocoDt 应该是什么格式?如果是COCO 格式,注意需要增加 score 值。(how?原创 2024-07-10 15:19:58 · 986 阅读 · 0 评论 -
关于 matplotlib 显示灰度图片为绿调的问题
是因为 imshow 本身是一般需要传入 RGB 的图片,如果传入的二维的数据,但是 cmap 默认是viridis,就出现了 绿调。可通过调整 cmap=‘gray’ 解决。原创 2024-07-10 15:15:57 · 81 阅读 · 0 评论 -
argparse 基本用法
我们日常见到的项目入口多是 使用 python 常用的参数解析工具 ArgParser 作为入口方式处理。新建一个ArgumentParser类对象,然后来添加若干个参数选项,最后通过parse_args()方法解析并获得命令行传来的参数。import argparserparser = argparser.ArgumentParser()# 此处省略添加若干个参数选项的详细步骤parser.parse_args()具体用法添加设置add_argument method1、 什么时候原创 2023-03-23 23:24:16 · 41 阅读 · 0 评论 -
pytest 使用(二):前后置(固件,夹具)
setup/teardown,setup_class/teardown_class 它是作用于所有用例或者所有的类@pytest.fixtrue() 它的作用是既可以部分也可以全部前后置。conftest.py和@pytest.fixtrue()结合使用,作用于全局的前后置。原创 2023-11-01 09:52:59 · 365 阅读 · 0 评论 -
pytest 使用(一)
(4)通过nodeid指定用例运行:nodeid由模块名,分隔符,类名,方法名,函数名组。不管是主函数的模式运行,命令行模式运行,都会去读取这个配置文件。–html ./report/report.html:生成html的测试报告。2.编码:必须是ANSI,可以使用notpad++修改编码格式。-s:表示输出调试信息,包括print打印的信息。-x:表示只要要一个用例报错,那么测试停止。-k:根据测试用例的部分字符串指定测试用例。3.作用:改变pytest默认的行为。改变默认的执行顺序:使用mark标记。原创 2023-11-01 09:42:10 · 318 阅读 · 0 评论 -
【推荐算法系列一】FM因子分解机模型
文章目录算法简述数学公式因子分解机模型二项交互的推导,使复杂度降低到 线性进一步转换为矩阵形式输入数据稀疏适用代码实现原论文地址:FM参考代码:推荐算法(一)——FM因式分解(原理+代码)算法简述相比于一般的线性模型,FM模型将交叉特征的影响考虑在内。也适用于处理输入数据稀疏的情况。数学公式因子分解机模型二项交互的推导,使复杂度降低到 线性进一步转换为矩阵形式ym×1=W0m×1+Xm×nW1n×1+12(∑((Xm×nVn×k−Xm×n2Vn×k2)m×k))m×1y_{m\tim原创 2022-05-04 20:04:42 · 881 阅读 · 0 评论 -
tensorflow模型中 embedding的权重没有包含在 model中的一个情况
先说结论,如果没有显式通过 build, add_weight 或者 tf.Variable 的方式指定权重,将embedding 层的权重加入模型中的方法是,要把embedding层设置为 self 的属性。有两个很容易犯的错误,1、由于 Embedding 的处理裹在其他层定义中,直接在 call 里使用,倒是权重读不到2、在call中进行embedding 定义,倒是模型拟合时报错(应该前置定义完成)正确做法是:如果转过头来,我们在 call 中定义 Embedding, 则参数会显示ok,但原创 2022-06-17 01:04:50 · 740 阅读 · 0 评论 -
tensorflow 中的 cross_entropy
tensorflow 中各种 entropy原创 2022-06-08 18:56:54 · 379 阅读 · 0 评论 -
闭包(python)
文章目录闭包的定义变量的作用域范围闭包案例第一种实现方式第二种实现方式第三种方式用nonlocal来处理理解闭包是理解python装饰器的基础。本篇内容主要介绍闭包的概念,并详细举了一个问题的三种代码写法进行解读。首先,给出闭包的定义如下:闭包的定义闭包是指延伸了作用域的函数,其中包含函数定义体中引用、但是不在定义体中定义的非全局变量。闭包是一种函数,它会保留定义函数时存在的自由变量的绑定, 这样调用函数时,虽然定义作用域不可用了,但是仍能使用那些绑定。要理解其中真正的含义,就要首先了解 变量原创 2022-04-29 16:25:29 · 903 阅读 · 0 评论 -
set 的常用操作
还有一些高效率操作c |= bc &= b原创 2022-01-19 11:59:49 · 64 阅读 · 0 评论 -
用 cProfile 进行性能分析
日常工作中,我们常常会遇到这样的问题:在线上,我发现产品的某个功能模块效率低下,延迟(latency)高,占用的资源多,但却不知道是哪里出了问题。profile,是指对代码的每个部分进行动态的分析,比如准确计算出每个模块消耗的时间等。这样你就可以知道程序的瓶颈所在,从而对其进行修正或优化。当然,这并不需要你花费特别大的力气,在 Python 中,这些需求用 cProfile 就可以实现。使用方式一import cProfile# def function1(n)# def function2(n原创 2022-01-19 11:14:36 · 464 阅读 · 0 评论 -
安装pip install tensorflow==1.14报错
pip install tensorflow==1.14 一直报错,显示只能安装2.0 以上版本时,请确认python版本是否低于3.8,3.8以上版本不支持1.x,将python 降级为3.7即可。原创 2021-12-13 11:11:52 · 4798 阅读 · 0 评论 -
tensorflow2 load_data失败,离线下载使用方法
由于网络不通,无法通过 load_data 直接下载加载数据集。可以在网上离线下载保存。在jupyterlab中输入?? tf.keras.datasets.fashion_mnist.load_data可以直接查看函数源码。因为还涉及到一些包的import,在服务器上可以直接拷贝fashion_mnist.py 文件到当前目录进行查看,然后将相应的path[0] 这些替换成自己下载好的文件目录即可。...原创 2020-12-21 10:00:15 · 481 阅读 · 0 评论 -
常用时序数据地址 MTGNN
https://github.com/laiguokun/multivariate-time-series-data原创 2021-11-29 16:00:28 · 505 阅读 · 0 评论 -
gensim中tfidf计算方法
基本原理和思想呢,大概就是 文档中词的重要性与 TF:每个文档中的词的频率成正比与 IDF: 词在文档中出现的次数/总文档数 的比例成反比但是计算的过程中有很多变体,下面就举例介绍一下 gensim中的计算过程。调用方式from gensim import corpora, models, similaritiescorpus = [[(0, 1.0), (1, 1.0), (2, 1.0)], [(2, 1.0), (3, 1.0), (4, 1.0), (5, 1.0)原创 2022-01-10 13:43:35 · 1397 阅读 · 1 评论 -
python 调试工具pdb常用方法
ipdb.set_trace() 设置断点l 1,18 查看第1-18行的代码n next 执行下一步s step 进入sum函数内部u up 跳回上一层的调用d down 跳到调用的下一层!r 查看r变量,因为与 return 冲突return 继续运行直到函数返回x 查看x变量c continue 直到遇到下一个断点q 退出debugbreak 91 在第91行设置断点,运行到此处时进入debug模式clear 清除所有断点通过touch /tmp/debug 命令创建d原创 2022-01-01 23:52:59 · 517 阅读 · 0 评论 -
python: 用schedule 设置定时任务的例子
参考来源: https://www.cnblogs.com/hahaa/p/15248439.html借助于 schedule 模块,完成定时任务的设置,案例如下:def job(): print("Hello, working...")if __name__ == '__main__':# 每天10点# schedule.every().day.at('10:00').do(job)# 如果方法需要传参的话do(func,参数1) # 测试每 30 分钟原创 2021-11-29 14:05:31 · 2028 阅读 · 0 评论 -
python获取当前文件夹、当前文件目录
import os__file__='./test_accpickle.ipynb' --> 指定file位置os.path.realpath(__file__) --> 路径os.path.dirname(os.path.realpath(__file__)) --> 文件夹原创 2021-09-22 16:49:50 · 3904 阅读 · 0 评论 -
多线程、多进程、多协程
自己使用过程中的记录。多个进程跑多个函数from multiprocessing import Processdef main(part_dt, save_dir,con, conn): print('Parent process %s.' % os.getpid()) p1 = Process(target=main_temp, args=(part_dt, save_dir,con, conn)) p2 = Process(target=main_gear, args=(p原创 2021-09-22 15:36:18 · 102 阅读 · 0 评论 -
python 多进程 error_callback error: cannot serialize ‘_io.BufferedReader‘ object
测试多进程的应用。期望实现快速调参!原创 2021-09-17 14:08:18 · 986 阅读 · 0 评论 -
RuntimeError: expected scalar type Long but found Float
通过检查打印数据格式,发现数据是 torch.int64,将数据转换成 float即可。torch.tensor(data,dtype=torch.float)原创 2021-08-03 11:15:24 · 1134 阅读 · 1 评论 -
计算距离矩阵
from scipy.spatial import distanceY = distance.pdist(m1, 'cosine')z=distance.squareform(Y)cosine 是参数,可以指定别的距离计算法方式原创 2021-06-28 17:30:32 · 1245 阅读 · 0 评论 -
python设置次坐标轴
用法ax2 = ax1.twinx()举例fig = plt.figure(figsize=(12,8))ax1 = fig.add_subplot(111)ax1.plot(e13.loc[:1000,'gear'])ax2 = ax1.twinx() ax2.plot(e13.loc[:1000,'temperature_self'], c='red')# e13.plot(y='temperature')plt.xticks(rotation='60');原创 2021-06-23 18:08:55 · 1050 阅读 · 0 评论 -
pandas 将数据等时间间隔采样(下采样): resample
在计算一些时序数据时,我们可能会需要对数据每个间隔内按一定要求取值,规整为统一的时间间隔。比如说,我们获得一串数据,表示开机时间,采样时间和值,而采样的时间是不固定的,我们需要将采样时间规范为等间隔。## 将列中的时间列设置为indexdf.set_index("date")# GroupbyA并根据秒频率重新采样,并在C列取最大值df.groupby('A')['C'].apply(lambda grp: grp.resample('4s').max())也可以直接参考官网示例....原创 2021-06-20 22:49:35 · 3647 阅读 · 0 评论 -
Pandas中groupby使用小总结 agg/transform/apply
结合官方文档和自己使用经验,记录 Groupby的使用细节。Groupby 使用有三个步骤:split: 将数据按照某些字段或条件划分为不同的组apply:对每个组分别应用特定的函数计算combine:将各组计算结果合并Split(经常用到的拆分方式例子)按字段名或者字段名组合或条件拆分grouped = df.groupby("class")# 等价于 df.groupby(df['class'])grouped = df.groupby("order", axis="column原创 2021-06-19 19:37:24 · 441 阅读 · 0 评论 -
geoplot solving enviroment 问题
conda 安装 geoplot 时,一直卡在 solving enviroment上,用下面的方法解决了。注意 ,会一并安装 geopandas, 不用额外安装。conda update condaconda update --allconda install geoplot -c conda-forge原创 2021-03-10 10:05:37 · 541 阅读 · 0 评论 -
【Python】Pandas DataFrame 一维表二维表的转换
摘要数据场景一维表转换为二维表二维表转换为一维表原创 2020-11-12 22:52:24 · 7857 阅读 · 0 评论 -
【Python】编码规范
记录个人编写代码,命名规范等。原创 2020-10-20 16:46:04 · 78 阅读 · 0 评论