虚拟-Worder的博客

Java里面可重入锁能解决重量级锁引发的死锁问题，不挺好的吗？比如下面代码（mutex相当于Java重量级锁），对外提供了两个方法F和G，如果是Java的话，调用F，进入F时Lock一次，进入G时又Lock一次，此时会出现死锁情况，相当于线程占用了资源后又自己等自己，如果是可重入锁则不会死锁，进入F时Lock一次锁的可重入次数+1，进入G时又Lock一次又+1，对应Unlock时再-1，正常执行结束。而且可重入锁可在用户进程空间实现，避免了额外开销，又能解决死锁，性能也比重量级锁好，为什么还说其设计“不太好

全球网格数据如grib、nc有些是按年组织的、有些是按月组织的、有些是按日组织的、有些是按小时组织的，然而这些在时间上都是一维形式，即普通的时间序列。对于数值模式预报数据，如ECMWF、GRAPES、JMA、NCEP 等等，其数据在时间上是二维形式，即（起报时刻，超前序列）。举个简单例子，假设气象台对气温预报，星期一会预报星期二到星期五的气温，星期二会预测星期三到星期六的气温，星期三会预测星期四到星期日的气温，这里就可以看到，星期一到星期天产生的序列长度不是7，而是3 x 7 = 21，所以说预报数据是

最近在做一个大概3、4万行python代码的项目，在把项目从mac迁移到win10和win7系统测试时发生了奇怪的bug，就是一旦绘图，窗体就直接闪退，连报错打印的信息都没留下，但在mac上可正常运行。由于项目涉及到众多包和框架，比如xarray、cfgrib、pyqt5、cartopy、pytorch等等，由没有报错信息，加上geos那套对不同操作系统、各个包不同的版本要求都比较严格，稍有不对号入座就会发生奇怪的bug，所以一时对于bug的排查比较难下手。最后经过连续5小时的排查，发现该闪退原因既不是

前言【本文也适用Linux穿Linux】我配置是这样，有台阿里云，Linux系统，然后实验室有台3090的服务器，装的是win10系统，但接的是教育网宽带，相当于被NAT了，没有自己的公网IP，无法直接访问到。所以想在家也能使用组内GPU服务器，一个自然想法就是使用阿里云内网穿透组内win10，然后自己笔记本再ssh接入阿里云，让阿里云转发ssh流量，实现控制组内GPU。这里不得不吐槽win10，其实你去网上搜教程，大部分都是win/mac/linux客户端，然后使用公网linux穿内网linu

前言一般买来的服务器都是给你root用户，但实际上安全隐患太大。比如我自己的服务器给实验室搭个跳板机内网穿透实验室的GPU服务器完成远程开发。但实现其需要秘钥免密登陆，如果新来的能直接免密登陆我服务器，手皮了一下把我服务器整崩了咋办，所以还是等开个非root普通用户给大家作跳板。不同操作系统间免密访问原理都是一样的，A主机免密访问B主机，需要A主机生成的公钥添加到B主机的～/.ssh/authorized_keys文件中，这样A访问B，B拿到A的用户连接信息，然后去自己的authorized_key

前言高版本Mac、python库下Basemap装的真是折磨人，好不容易通过修改源码成功 import 了，结果运行案例代码中途报错。。最后转用cartopy这里强烈建议高版本Mac、python的用户不要使用basemap，basemap官方都说其已经过时了，要求用户转向cartopy本人环境mac10.15.x，python3.7+卸载cartopy相关可能是太过笨重，网速感人，所以本人一直不太喜欢Anaconda，也从来没装过，虽然cartopy官方说了使用Anaconda安装是最

前言本来程序跑得好好的，突然快到结尾时程序被强制关闭，报错 zsh: killed xxx/bin/python后面经查找发现是因为内存耗尽，程序强制被关闭，追其溯源，发现使用了类似这样的代码：从一个文件夹下读取全部文件数据作为list返回，由于list太大导致内存不足能不能通过分块或者惰性加载的思想来迭代nc_datas从而解决内存瓶颈问题？答案是可以的协程模型python中的协程采用了generator实现，而generator就类似惰性加载的思想，你调用它一次它才.

本文代码基于该篇进行魔改，功能调用更加方便，速度经测试快了几十倍import mathimport copyimport numpy as npfrom sklearn.cluster import DBSCANimport sklearn.metrics.pairwise as pairwiseclass Adapter_DBSCAN(): # 默认统计聚类个数在2-25之间的聚类情况, 参数符合python左闭右开 def __init__(self,num_clu

在该文(基础篇)中简单介绍了python自定义注解与获取，但该文中的注解定义方式存在缺陷：同一方法上无法区分哪个信息是由哪个注解注入的（多注解情况）简单理解下就是：@annotationA(A_info="this is A",value="功能A")@annotationB(B_info="this is B",value="功能B")def test_fun(): print("test_fun...")if __name__ == "__main__": annos

python的注解是通过装饰器模式实现的，@注解本质是一个函数def my_annotation(**kwds): def decorate(fn): for item in kwds.items(): print(item) return fn return decorate@my_annotation(value="this is a annotation", author="Jack")def test_annotat

前言判断一个程序属于IO密集型还是计算密集型有利于后续对程序进行并行优化，尤其是Cpython解释器下的python程序（GIL锁）。本文将先介绍判断方法，再结合一个实际案例进行分析。上下文切换上下文切换一般指用户态和内核态间的切换，通常切换的发生是因为用户程序在运行过程中产生了系统调用。在Linux中，上下文切换可分为自愿上下文切换（voluntary_ctxt_switches）和非自愿上下文切换（nonvoluntary_ctxt_switches），自愿上下文切换如字面意思，是一种主动的

前言LTTB算法由冰岛大学的Sveinn在2013年提出，其对时序数据的降维拟合效果显著，且适用于海量数据处理，已被欧洲多家商业公司采纳，其降维效果如下图，灰色是高密度的原始时序数据，黑色是降维后的拟合表示本文将先介绍PAA降维算法，再讨论LTTB降维算法，最后使用工业生产数据对两者进行实验对比，整个过程已整理为论文报告的一部分。因实验部分数据保密关系，本博客将只截取部分论文报告内容，但已足以讲清LTTB算法。时序降维拟合技术算例验证LTTB降维算法就介绍道这儿，由于写报

通常绘制的图颜色只按一个方向渐变，如PCA降维后一个例子import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom sklearn.decomposition import PCAimport numpy as npdef show_pca_2d(): X = np.loadtxt("exp4/normal.txt",delimiter=",",dtype=np.float32) p

前言KMedoids的聚类有时比KMeans的聚类效果要好。手上正好有一批时序数据，今天用KMedoids试下聚类效果安装KMedoids可以使用sklearn的拓展聚类模块scikit-learn-extra，模块需要保证 Python (>=3.6) scikit-learn(>=0.22) 安装 scikit-learn-extraPyPi: pip install scikit-learn-extraConda: conda install -c

前言tslearn和sklearn一样，是一款优秀的机器学习框架，tslearn更偏向于处理时间序列问题，如其聚类模块就包含了DTW（Dynamic Time Warping）等算法及变种，也提供了轮廓系数对聚类效果评估，十分方便。但可惜，tslearn似乎没有提供对KShape聚类的评估方法，而且tslearn用的人也不多，官方文档也是很 “简洁”，网上也搜不到多少相关文章，所以这里也就记录下自己的踩坑过程轮廓系数评估接口调用先看官方例子，这里X是一个三维的numpy数组，代表20段时间序

前言python3在编码问题上会涉及到系统默认编码、本地默认编码和ssh工具终端通信编码三大不同层面，三者可以组合出不同的编码情况，不仔细梳理清楚确实容易弄混。本文在最后会给出一个真实的业务案例，若能搞清楚那么解决python3编码也不在话下了。系统默认编码系统默认编码在python3中可以这么理解，是指python3解释器以什么样的编码形式读取.py文件，形象点可以这么认为，你是python3解释器，你面前是磁盘上存储的二进制数据流（.py文件），假设是这样 010101000111010

前言最近想拿树莓派搭一个便携式NAS，存些电影在里面，因为每次坐火车手机信号奇差，想想有个内网wifi供你看电影该多爽（相比接一根数据线或u盘在手机上看，wifi显然能服务更多小伙伴），所以本篇文章将先讲述如何在树莓派3b+上开启wifi材料准备其实材料不需要多少，我这边是一根网线（连vnc的），一个无线网卡，如下换源由于官方镜像源存在种种问题，不仅速度慢，还有可能在apt-get install 的时候出现Unable to locate package xxx 的问题，所以最

最近因毕设需求纯手动撸了个性化景点推荐系统，写论文的时候却发现有两个概念比较模糊，如下：基于内容的推荐算法某些论文说的过于学术化，说简单点就是对 Item进行特征拆分，将这些特征做成tag标签或者向量，来匹配特定胃口的用户。而基于多准则的推荐算法呢？Wikipedia上说是系统预测用户对一个item的评分时会综合考虑多方面准则。那么问题来了，我Content-based也考虑了item的多...

换了新vscode，准备c++刷一刷 leetcode，结果万能头文件 include 报错：害，又是这个错误，其实官方文档里都说的明明白白了，一直觉得没必要写，但搜索引擎上乍一搜好像又没有很多相似文章，那这里还是记录下吧。事实上是这样的，如果你电脑装了visual studio，或者wsl（windows下Linux子系统），vscode会优先用前两者的编译器，如果前两个都没检测到，...