- 博客(113)
- 收藏
- 关注
RSS订阅原创 Slim vs Alpine (fission based)
在选择使用Debian Slim还是Alpine时，取决于你的具体需求。如果你追求最小的镜像大小并需要轻量级的发行版，Alpine可能是更好的选择。如果你更喜欢Debian生态系统和更全面的软件包支持，那么Debian Slim可能更适合。以上内容来自于ChatGPT。
2024-02-29 14:49:34
447
原创 python字符串与数值类型的转换及在Dict中的巧用
方案二：eval(str(A)+str(B))，即将key设置为int；后续可以通过字符串操作分别读取A、B两方面内容。具体而言，先将key先转为str，然后根据A、B的长度从key中截取相应内容。假设dict的key在语义层面包括两方面内容且内容为数值变量（表示为A，B）。方案一：str(A)+"_"+str(B)，即将key设置为str。
2024-02-22 11:26:46
386
原创 边缘分布和条件分布
具体而言，如果有一个二维随机变量 (X, Y) 的联合分布，那么X的边缘分布就是在所有可能的Y值上对联合分布进行求和或积分，得到X的分布。同理，Y的边缘分布是在所有可能的X值上对联合分布进行求和或积分，得到Y的分布。在这些公式中，P(X=x,Y=y) 表示X和Y同时取特定值的联合概率（离散情况下），fXY(x,y) 表示X和Y的联合概率密度函数（连续情况下），而 P(Y=y) 或 fY(y) 表示边缘分布。总的来说，边缘分布关注单个变量的分布，而条件分布关注在给定其他变量的条件下某个特定变量的分布。
2024-02-19 17:09:49
961
原创 CDF和PDF的比较
Cumulative Distribution Function (CDF)（累积分布函数）和 Probability Density Function (PDF)（概率密度函数）是统计学和概率论中两个重要的概念，用于描述随机变量的性质。在使用这两个函数时，通常CDF用于计算随机变量小于等于某个值的概率，而PDF用于计算随机变量在某个点上的概率密度。以下内容来自ChatGPT，科技改变生活。
2024-02-17 11:00:26
2110
原创 长拖尾数据的采样方法
截断抽样（Truncated Sampling）： 选择数据中的一个截断范围，只保留在这个范围内的数据。对于具有长拖尾（长尾）分布的数据，通常使用传统的随机抽样方法可能不太适用，因为这样的分布意味着有一些极端值（outliers）会对整体分布产生较大影响。加权抽样（Weighted Sampling）： 对数据进行加权，使得拖尾部分的数据被赋予更小的权重。专门的分布逼近方法： 有时可以使用参数化分布模型来拟合原始数据的分布，并从拟合的分布中进行抽样。以下内容来自于ChatGPT。
2024-01-22 09:37:02
396
原创 Pandas加载大数据集
官方文档提供了4种方法：只加载需要的列、转化数据类型、使用chunking（转化文件存储格式）、使用Dask（使用多进程/线程加载数据）。
2024-01-15 09:56:08
501
原创 任务类型划分
需求： 对于这类应用，速度并不仅仅取决于CPU的计算能力，而更受限于IO操作的速度。在实际应用中，一个应用可能同时具备内存密集型和IO密集型的特点，因此在设计和优化时需要综合考虑这两种类型的需求。IO密集型应用更注重对输入/输出操作的高效管理，以便快速响应外部设备的请求和处理大量的IO操作。内存密集型应用和IO密集型应用是两种不同类型的计算应用，它们在资源需求和性能特点上有所不同。内存密集型应用更注重对系统内存的高效利用，以处理大规模数据和执行复杂计算。CPU的速度相对较快，但主要工作是处理内存中的数据。
2024-01-14 10:05:53
425
原创 PIL Image抛出resize fails cannot identify image file
引发该异常的原因之一是图片本身受损。排查方式为：1. 保存图片；2. 用本地的图片解析器查看图片是否能正常打开。
2024-01-09 21:50:56
377
原创 利用Podman构建基于Fission env/builder的镜像
fission的基础环境包括两种：env 以及 builder。如果仅基于code构建function（i.e., 只创建deployachive），仅构建env即可；但如果需要构建sourcearchive，则需要同时创建env和builder。其中，builder基于fission-python-builder，而env基于fission-python-env。
2024-01-07 11:25:05
689
翻译 CentOS在不进入BIOS的情况下关闭超线程
比较新的内核，通过Simultaneous Multithreading (SMT) 实现超线程管理。1. 查看smt的状态：1=>激活状态，0=> 关闭状态。2. 改变SMT状态。
2024-01-05 20:48:21
174
转载 boxplot/violinplot核心参数解释
4.5.2 Visualizing the box and whisker plotStatistics: Power from Data! is a web resource that was created in 2001 to assist secondary students and teachers of Mathematics and Information Studies in getting the most from statistics. Over the past 20 years,
2024-01-02 09:58:00
51
原创 度量离散程度的统计变量
选择使用标准差还是离散系数通常取决于具体的数据特性和分析目的。在实际应用中，有时也可以同时使用这两个指标，以全面了解数据的分散情况。离散系数和标准差都是用于衡量数据离散程度的统计量，但它们在使用场景和优劣方面有一些不同。
2023-12-30 16:47:32
402
1原创 Python子进程内numpy.random失效
问题描述：子进程内调用 np.random.randint()，生成的随机数相同。解决办法：在子进程调用的函数的首行添加。
2023-12-28 17:27:21
381
原创 github使用手册
1. 初始上传代码1.1 新建仓库echo "# eurosys2021_paper" >> README.mdgit initgit add README.mdgit commit -m "first commit"git branch -M maingit remote add origin https://github.com/JaneWuNEU/eurosys2021_paper.gitgit push -u origin main2. 上传部分代码...
2023-11-14 21:32:42
535
原创 cuda编程
参考资料https://nyu-cds.github.io/python-gpu/02-cuda/https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.htmlGPU结构cuda thread的映射过程cuda内存管理
2023-11-14 10:54:37
63
原创 Gurobi 安装
2. 如提示grbgetkey找不到，在以下链接找到对应工具。1. 登录后申请新的License，粘贴如下内容。3. 重新执行1中的命令即可完成安装。
2023-10-26 10:27:50
101
原创 unsupported configuration: this QEMU does not support ‘qxl‘ video device
然后，我使用的server在在支持qxl和SPICE方面有bug。As a solution，本人没有直接解决上述bug，而是用其他实现方式作为替换。QEMU负责完成底层资源的虚拟化过程，该过程其会模拟graphic card并集成remote access软件，也就是这里Video及Display。Virtual Machine Manager创建VM提示unsupported configuration: this QEMU does not support 'qxl' video device。
2023-10-09 10:18:59
806
原创 k8s下安装redis
修改redis下master & replica pod使用的pvc，使其指向步骤3中创建的pv。指向先前创建的storageclass (manual)。此外，还需要指定data的存放路径。，这要求在k8s的各node上创建该路径，并修改路径权限；1. storage、pv、pvc的关联关系及配置方法。执行以下命令添加redis的repo。2. 详细的安装过程。
2023-06-30 10:33:04
3057
原创 failed to resolve image to digest: Get “https://index.docker.io/v2/“: dial tcp: lookup index.docker.
上述问题的原因是DNS配置有问题，需要在/etc/resolv.conf添加nameserver信息，添加方式如下，添加完成后重新启动server/VM，以使/etc/resolv.conf中的内容生效。
2023-06-15 10:28:11
263
原创 numpy多进程读同一文件
def basic_func(id): np.random.seed() model_name = "inception_v3" file_path = "atc_exp/exp_settings/partition_info/compress/NS/" + \ "fine_grained/5G/" + model_name + "_NS_partition_info.xlsx" data = pd.read_excel(file_path).
2023-06-15 10:22:58
66
原创 修改knative func build的image
基于func create创建的function的source code，并基于build创建出function对应的image。我们需在该image内创建安装iperf3。
2023-06-12 15:34:36
785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人