- 博客(51)
- 收藏
- 关注
原创 【Python】存储字典的5种方法&增量更新
可以看到与np.savez()的代码原理一样,只不过我把两个函数集成到了一起,然后将zipfile的mode改成了'a',就可以支持增量更新了,需要什么其他功能可以继续修改该函数。文件小的时候还好,如果文件较大,读取写入都要花上一些时间,且对硬盘寿命不友好。支持增量更新,支持数据压缩,支持选择性读取,也可以使用dict()将全部数据载入为dict格式。简单来说就是模仿np.savez()的代码逻辑,使用zipfile将字典数据保存为npz,但是,有个问题:使用上面的几种常见方法,每次更新数据只能。
2024-08-01 21:06:47
419
原创 libssl.so.10: cannot open shared object file: No such file or directory
经过测试,在Ubuntu20上使用网上的apt-install方法,提示找不到libssl1.0.0,换了软件源,update 和 upgrade后还是不行,可能是因为该文件是16年的,太老了找不到?注意点:如果make后报错,提示缺少zlib,可以先通过sudo apt-get install zlib,再cd到openssl文件夹下执行make。在Ubuntu20上使用python调用一个公司自己开发的第三方库,运行时出现了如标题的问题。2.从openssl官网下载tar.gz文件后本地编译。
2024-04-24 16:30:17
1851
原创 tables.exceptions.HDF5ExtError: Problems creating the Array.
最后检查下来是磁盘快满了,整理一下磁盘空间就可以继续。往h5文件里面存数据的时候突然报这个错。
2023-11-29 17:49:09
839
原创 pandas 的apply返回多列
这里主要用到的就是[list(i) for i in df.values]这句话,把tuple里面的数取了出来。1:使用apply 的参数result_type 来处理。2:使用zip打包返回结果来处理。
2023-09-01 17:43:00
1538
原创 Pandas groupby apply 最后卡住
现象:使用groupby().apply(),最后要出结果的时候程序卡住。最近又遇到bug了,也有可能是我的使用方式不对。apply不要返回df,而是返回一个新的变量即可。可能是返回的数据与原来的数据有冲突。
2023-05-12 15:40:16
1335
原创 Pycharm卡顿、反应慢、CPU占用高
依次打开 File →Settings → Project: xxx → Project: Interpreter,把现在用的python解释器删除,再重新导入即可,或者切换一下别的解释器,再切回来即可。依次打开 File(文件) → Project:Administrator(项目:管理员) → Project Structure (项目结构),把没有用的都删掉就可以了。依次打开 File(文件) → Power save mode (省电模式),这样确实变快了好多,但是没有代码检查了,因噎废食。
2023-04-26 20:15:21
29529
6
原创 Tailscale: Please Restart the Tailscale Windows Service
之前用的好好的,最近重新升级了一下Tailscale后发现一直连不上。设置--网络和Internet--更改适配器设置,打开网络连接窗口,把里面的Tailscale网络连接禁用掉即可。禁用后就会消失,变成下面这样,但是功能都变正常了。我查看了一下服务,发现Tailscale是自动的,这里的启动类型没有设置为自动的同学可以将其设置为自动试试。2.将C:\Users\你的账户\AppData\Local\Tailscale下的所有文件删除;猜测是之前的Tailscale没卸载干净,导致有冲突。
2023-04-25 20:11:22
7633
5
原创 解决ModuleNotFoundError: No module named ‘pandas._libs.arrays‘
解决方案:在ubuntu服务器本地生成pickle文件。也有可能是python版本不同导致的,windows是python3.9,ubuntu 是python3.6。实验:使用ubuntu服务器本地的pkl文件可以读取,但是从windows中通过SCP传到服务器的pkl文件会出现这个问题。
2023-03-31 20:50:07
520
原创 pycharm远程debug无法停止
今天再次遇到debug停止太慢的问题,已经严重影响我的日常工作了,于是用google仔细搜了一下相关问题,终于找到了一些可以尝试的信息。具体链接忘记保存了,相关性不太高,但提到了版本问题,说不同版本的pycharm会使用不同的停止信号来结束服务器上的debug进程,看得我满脸的问号。等重新卸载完了,使用everything搜出了所有带pycharm关键字的文件,一一删除,然后重装pycharm2022.3.2,结果还是不行,网上搜索类似问题,都是在说断点失效的问题,不是我要的答案。pycharm版本问题。
2023-03-20 18:13:21
1765
1
原创 Pytorch 代码复现终极指南【收藏】
这两种方式得到的训练结果从第二个Epoch开始就是不同的,且val前后模型的weights没变,那应该就是生成的随机数变了。我在刚接触pytorch的时候搜到了这个大佬的文章,当时最后天坑部分没有看的太明白,直到今天我也遇到的相同的问题,特来做一点点补充,方便大家理解。设置完这些,基本99%的情况下都可以复现结果,如果无法复现,那就重启notebook 或者python。以上就是Pytorch代码的复现终极指南,保险起见的话,先把能加的都加上,然后看能否复现。强制每次train之前empty_cache;
2023-03-02 18:24:55
1474
原创 python计算量比指标
计算公式:量比=(现成交总手数 / 现累计开市时间(分) )/ 过去5日平均每分钟成交量。这里公式没有问题,但是注意上述定义中有个歧义...
2023-02-28 20:04:51
1060
1
原创 Pytorch中修改tensorboard的event文件
有时候在pytorch中使用tensorboard时,生成的指标不对,。。。按照上面的代码,不仅可以修改scalar的tag,还可以修改对应的值,时间等等,都是可以修改的。
2023-02-24 16:07:45
1612
原创 HuggingFace 报错 ImportError: cannot import name ‘HfApi‘
HuggingFace 报错 ImportError: cannot import name 'HfApi'
2023-02-17 14:14:58
6762
1
原创 A value is trying to be set on a copy of a slice from a DataFrame解决方案
A value is trying to be set on a copy of a slice from a DataFrame解决方案
2023-01-17 15:08:27
20131
1
原创 修改Ubuntu启动界面等待时间
Ubuntu的开机启动等待时间默认是10s,等待时间比较长,每次启动都得按一下回车,于是就想修改一下等待时间。我们可以找到Grub的配置文件(/etc/default/grub),在其中进行个性化的配置。GRUB引导默认启动项及等待时间。
2022-10-11 17:58:29
3557
原创 python代码优化器/代码加速/代码性能分析/LineProfiler
line_profiler是Python的一个第三方库,其功能时基于函数的逐行代码分析工具。通过该库,可以对目标函数(允许分析多个函数)进行时间消耗分析,便于代码调优。
2022-09-22 11:22:59
657
原创 ubuntu装机卡住转圈
今天又给电脑装Ubuntu,官网下镜像,用UltraISO拷到U盘里面,都一切正常。U盘插入USB2.0的口子,主板进入bios也可以检测到,也正常进入了winPE,目前为止一切正常。
2022-08-16 18:20:57
5224
1
原创 windows远程连接Ubuntu蓝屏
Ubuntu18.04和win10使用zerotier one进行mstsc远程连接,我这里再补充几点就OK了。
2022-08-16 17:30:48
1875
原创 【猫鼠游戏】一个半径为 1 的圆形水池圆心有一只老鼠,池边有一只猫。
一个半径为 1 的圆形水池圆心有一只杰瑞,池边有一只汤姆。汤姆不能下水,只能沿着池边走。杰瑞的速度为 v,汤姆为 4v,一旦杰瑞上岸且汤姆没有与杰瑞相遇则认为杰瑞逃生成功。设计杰瑞的逃生策略。...
2022-07-31 09:09:07
1015
原创 Adam优化器(通俗理解)
Adam,名字来自:Adaptive Moment Estimation,自适应矩估计。是2014年提出的一种万金油式的优化器,使用起来非常方便,梯度下降速度快,但是容易在最优值附近震荡。竞赛中性能会略逊于SGD,毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。...
2022-07-29 17:25:01
71260
1
原创 证明能被11整除的数的特征
证明能被11整除的数有两个特征:1.奇数位的数字之和 减 偶数位的数字之和能被11整除。2. 从右往左,每两个数分成一组,各组数之和能被11整除。
2022-07-24 09:34:49
23017
原创 有18个球,随机放入10个空盒子,求空盒子数量的期望
有18个球,随机放入10个空盒子,求空盒子数量的期望。在优惠券收集问题中:是对要求的种类数设指示变量,这题则是对要求的空盒子数使用指示变量
2022-07-18 18:47:39
721
原创 优惠券收集问题
题目:已知盒子中有数量众多的优惠券,一共N种,求1.集齐N种优惠券,需要收集优惠券个数n的期望?2.手里有n个优惠券的情况下,种类数的期望?
2022-07-18 18:45:38
2450
原创 绿皮书答案:A Practical Guide to Quantitative Finance Interviews
想了解解题思路的同学请点个赞,我看看人多的话就抽空写个解题全系列。可以留言想先看哪个部分,或者哪个题。我就优先写在本博客下面。最近把绿皮书的前5部分看完了,也有了一些自己的思路。考虑到书上自带的解题思路可能有些写的不太详细,我想把自己的思路总结一下。..................
2022-07-18 11:03:02
5997
原创 n个考生的录取通知书装入n个信封
n个考生的录取通知书装入n个信封,然后在每个信封上随意写上一个考生的姓名地址发出,以。,1表示第i个人收到,0表示第i个人没收到。表示n个考生中收到自己通知书的人数。
2022-07-18 10:54:38
861
原创 Pandas装载高维数据
不知道是pandas的bug还是特性,使用pandas确实可以装载高维的list数据,而直接使用高维的np.ndarray会报错。# 使用pandas装载3维数据import pandas as pdimport numpy as npdata = np.ones([2, 2, 2])data = data[:, np.newaxis, :, :] # 必须插入第二维作为pandas的columndata = data.tolist()df = pd.DataFrame()df['d
2021-11-12 21:31:48
1554
原创 树莓派机器人快速入门指南 V1.3
树莓派机器人快速入门指南V1.1——带视觉全自主智能人形机器人训练平台 HBE-ROBONOVA-AI II原创,请勿转载!谢谢!2017年 2 月 14 日312 现代电子测量实验室、 3-306 创新基地YOBOT 团队-兰州交通大学声 明
2021-09-27 20:15:21
359
原创 keras timeline 性能分析 性能优化 fit_generator
keras timeline 性能分析 性能优化 fit_generator网上的大多都是tensorflow的timeline教程,千篇一律。我自己却用的是keras,不为别的,就是图个简单易用。我用fit_generator训练模型,现在需要对模型的训练和推理的时间和性能进行分析和优化。自己找了几天的资料,终于跑出来了,mnist示例代码已经开源,欢迎来我github点小星星。web link:https://github.com/YalongLiu/keras-timelinegit.
2020-06-10 11:00:53
568
原创 服务器训练好的模型本地运行错误
现象:最近用google colab训练模型。分布在mnist和自定义的数据集上面训练好了两个CapsuleNet。colab 测试通过,一切正常。权重下载下来本地测试时发现:mnist的模型一切正常,但是自定义数据集上面的CapsuleNet在本地再次训练时直接爆炸了,其每个类别的推理结果都是乱码。网上解决方案:99%都是自己代码的问题,自己debug去(输入网络的数据对不对,本地代码的设置对不对,代码是不是与服务器中的一致等)。现象解释:经过脱发测试,发现是本地环境问题。测试验证:本地使用C
2020-05-11 20:32:15
720
原创 西安电子科技大学 校外接入 查询文献
最近受疫情影响,在家磕盐,需要下载IEEE文献。可以使用西电学号与对应的校园网密码在家登陆校园网。1.打开校外VPN网页入口:西安电子科技大学VPN远程接入系统(https://vpn.xidian.edu.cn/portal/#!/login)2.根据提示下载或更新EasyConnect客户端,下载安装完了好像不用配置就行。3.刷新VPN网页入口,发现没啥提示了,就输入学号与密...
2020-03-02 12:35:50
1463
原创 Mathtype7在Word2016中闪退
我的是Office2016 64位,之前装过Mathtype6.9b,现在将6.9b删掉装Mathtype7,结果打开word点击Mathtype就闪退了,直接打开Mathtype.exe可以打开。尝试了网上的隐藏字体啊,删除字体啊,在startup文件夹中加入MathPage.wll和MathType Commands 6 For Word 2016.dotm文件都没用。最终灵感闪现,成...
2020-03-01 14:20:53
3846
2
原创 2019年西安DHL快递(中外运敦豪)地址
帮助到你了就点个赞吧!Powered By YalongLiu-站在巨人的肩膀上坐标西安,前一阵子想寄文件到美帝,在地图上找半天找不到DHL,后来打电话到DHL总部才了解情况。以下是DHL客服小姐姐发过来的几个西安分部,建议寄件前先打对应的电话问一下还开着没。需要带上身份证,另外学生去学校里面寄件会便宜一些。 ...
2019-12-24 08:52:46
2764
翻译 adb devices 无法识别设备
这是魅族MX4Pro驱动的内置说明文件,为了用户更好的使用魅族手机而将之写成博客,侵权请提醒作者,作者会立马将此博客删除。一、Ubuntu环境1. 建立或修改文件 ~/.android/adb_usb.ini,在文件开头或末尾添加一行,内容是0x2a45。2. 建立或修改文件 /etc/udev/rules.d/51-android.rules2.1 修改文件权限: su...
2019-10-21 21:33:33
306
原创 论文图片处理技巧新思路
(2019.3.25更新:直接装个Adobe acrobat就行了,然后在首选项里面设置,所有对图像的采样都为关,之后用acrobat另存为即可达到下文的效果。)本小白也是第一次写论文,遇到了很多坑。尤其是在最后马上要提交论文的时候,突然发现word论文生成的pdf中,图片与流程图均有问题,真是让人后背发凉。先说一下,我没有用过Latex,据说挺好用的,接下来我也会去试试(手动滑稽)。...
2019-03-11 12:58:13
893
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人