- 博客(286)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 VMware安装Ubuntu虚拟机
Ubuntu 是一个基于 Linux 内核的开源操作系统，由 Canonical 公司维护和发行。它的目标是为桌面、服务器、云计算等多种场景提供一个用户友好的、稳定且安全的环境。
2024-09-08 20:36:05
1229
原创 Conda在线/离线迁移虚拟环境
Conda 是一个开源的包管理和环境管理系统，最初由 Anaconda, Inc. 开发。它可以用于管理不同语言（如 Python、R、Ruby、Lua 等）的软件包和依赖，还可以轻松创建和管理独立的虚拟环境。Conda 最初是为 Python 科学计算的需要而开发，但它现在已扩展为一个通用的包管理工具。
2024-09-03 09:23:44
642
原创 Github使用教程
GitHub 是一个面向开源及私有软件项目的托管平台，它通过 Git 进行版本控制，并为开发者提供了一个协作、管理和发布代码的在线空间。GitHub 不仅是一个代码托管平台，更是一个开发者社区，提供了多种工具和功能，帮助开发者更好地管理项目和进行协作。
2024-08-14 16:01:55
2731
1
原创 Python使用configparser管理配置文件
configparser 是一个强大且易于使用的工具，适用于需要管理配置文件的各种 Python 应用程序。它提供了丰富的功能，包括读取、修改、写入配置文件，设置默认值，支持多种数据类型等。通过合理使用 configparser，可以显著提高应用程序配置管理的灵活性和可维护性。在项目开发中，建议将所有配置信息放入 .ini 文件中，并通过 configparser 来处理这些信息，从而使代码更加清晰、可维护性更高。
2024-08-13 17:18:53
342
原创 Shell、C/C++、Python操作环境变量
环境变量是一种在操作系统中用于存储信息的机制，这些信息可以被系统进程、应用程序和脚本访问和使用。环境变量在操作系统中的作用类似于一个全局配置参数，它们定义了操作系统的运行环境，包括系统行为、应用程序路径、用户信息等。环境变量是以键值对（key-value pair）形式存在的，每个环境变量都有一个名称（键）和一个与之对应的值。环境变量的名称通常是全大写字母，遵循命名规则，可以包含字母、数字、下划线 _，但不能包含空格。
2024-08-13 16:02:00
623
原创 t-SNE降维可视化并生成excel文件使用其他画图软件美化
t-SNE（t-分布随机邻域嵌入，t-distributed Stochastic Neighbor Embedding）是由 Laurens van der Maaten 和 Geoffrey Hinton 于 2008 年提出的一种非线性降维技术。它特别适合用于高维数据的可视化。t-SNE 的主要目标是将高维数据映射到低维空间（通常是二维或三维），同时尽可能地保留高维数据中的局部结构。这使得我们可以在低维空间中更直观地观察数据的结构和分布。
2024-07-11 10:46:32
985
原创 DataFrame使用详解
Pandas 中的 DataFrame 是一个二维的数据结构，类似于电子表格或 SQL 表格。它由多个 Series 组成，每个 Series 代表一个列。DataFrame 可以存储不同类型的数据，并提供丰富的操作方法和功能，使得数据处理和分析变得高效和便捷。
2024-07-09 11:02:44
875
原创 Python字典（dict）
在 Python 中，字典（dictionary）是一种内置的数据结构，用于存储键值对（key-value pairs）。它是一个无序的集合，每个键都是唯一的，并且与一个值相关联。字典提供了快速查找、插入和删除操作，因而在很多应用场景中非常有用。
2024-07-08 11:26:32
860
原创 Finding Important Parameters for Storage System Tuning
存储系统通常有许多影响其行为的参数。调优这些参数可以显著提高性能。手动和自动调优方法由于大量的参数和指数数量的可能配置而挣扎。由于先前的研究表明，一些参数比其他参数对性能的影响更大，因此专注于少数更重要的参数可以加快自动调优系统的速度，因为它们将具有更小的状态空间来探索。在本文中，我们提出了Carver，它使用(1)基于方差的度量来量化存储参数的重要性，(2)拉丁超立方体采样(Latin Hypercube Sampling)对巨大的参数空间进行采样;
2024-07-06 09:40:00
1012
原创 A Taxonomy of Error Sources in HPC I/O Machine Learning Models
在科学计算中，I/O效率对于生产力至关重要，但是HPC系统和应用程序日益复杂，使得理解和优化大规模I/O行为的工作变得复杂。基于数据驱动的机器学习的I/O吞吐量模型提供了一种解决方案:它们可用于识别瓶颈、自动进行I/O调优，或以最少的人为干预优化作业调度。不幸的是，当前最先进的I/O模型对于生产使用不够健壮，并且在部署后表现不佳。我们分析了两个领先级HPC平台上四年的应用程序、调度器和存储系统日志，以了解I/O模型在实践中表现不佳的原因。
2024-07-06 09:38:41
1004
原创 Understanding and Improving Computational Science Storage Access through Continuous Characterization
计算科学应用正在推动对日益强大的存储系统的需求。虽然有许多技术可用于捕获单个应用程序试运行和存储系统特定组件的I/O行为，但对于具有数十万个计算核心和多个pb存储的系统来说，持续表征生产系统仍然是一项艰巨的挑战。因此，在设计这些存储系统时，通常没有清楚地了解它们将支持的各种计算科学工作负载在本研究中，我们概述了一种可扩展的、连续的、系统范围的I/O表征方法，该方法结合了存储设备检测、静态文件系统分析和捕获详细应用程序级行为的新机制。
2024-07-05 09:19:44
777
原创 IOMiner: Large-scale Analytics Framework for Gaining Knowledge from I/O Logs
现代HPC系统正在收集大量的I/O性能数据。然而，这些数据的庞大数量和异构性给及时进行深度综合分析带来了困难。为了克服这个困难并允许用户识别应用程序I/O性能差的根本原因，我们提出了IOMiner，一个I/O日志分析框架。IOMiner提供了一个易于使用的接口来分析仪器数据，一个统一的存储模式来隐藏原始仪器数据的异构性，以及一个基于扫描线的算法来分析应用程序I/O性能差的根本原因。IOMiner在Spark之上实现，以促进高效、交互式、并行的分析。
2024-07-05 09:19:01
1022
原创 VMware RedHat虚拟机磁盘扩容（添加磁盘和扩展磁盘）
自己的电脑上配一个虚拟机还是很有必要的，用起来比双系统方便一点，之前搞了100g的ubuntu没用到，后面重装redhat觉得随便搞个20g就够用了，后面用到之后就遇到磁盘不够用的情况，只能说情况允许的话，磁盘搞大一点。
2024-06-19 21:29:57
1381
原创 Github上传大于100M的文件（ubuntu教程）
Git Large File Storage (LFS) 使用 Git 内部的文本指针替换音频样本、视频、数据集和图形等大文件，同时将文件内容存储在 GitHub.com 或 GitHub Enterprise 等远程服务器上。
2024-06-19 10:20:32
1088
原创 重定向文件访问（Redirect file access）
重定向文件访问是指通过修改文件系统的路径，使对某个文件或目录的访问请求被转到另一个文件或目录。这在系统管理、测试和开发中非常有用，因为它允许您在不修改应用程序或服务配置的情况下，改变文件的实际存储位置。
2024-06-11 20:16:09
964
1
原创 Python魔术方法
魔术方法（magic methods）或双下划线方法（dunder methods，"dunder" 是 "double underscore" 的缩写）。魔术方法是 Python 中具有特殊意义的函数，通常由双下划线包围，如 __init__、__str__、__getitem__ 等。这些方法使得类实例可以与内置操作和函数无缝集成，从而实现自定义行为。
2024-06-03 20:59:46
783
原创 MLPerf storage基准测试
MLPerf™ 基准测试由来自学术界、研究实验室和行业的 AI 领导者联盟 MLCommons 开发，旨在对硬件、软件和服务的训练和推理性能进行无偏评估。它们都在规定的条件下进行。为了保持在行业趋势的前沿，MLPerf 不断发展，定期举行新的测试，并添加代表 AI 技术水平的新工作负载。每个基准测试套件均由工作组专家社区定义，他们为 AI 系统制定公平的基准测试。工作组定义要运行的 AI 模型、运行模型所依据的数据集、设置允许对模型进行哪些更改的规则，并测量给定硬件运行模型的速度。
2024-06-03 10:35:53
1526
原创 安装mpi4py与dlio_profiler_py的总结
mpi4py是一个Python库，它提供了与MPI（Message Passing Interface）兼容的接口，使得Python程序能够利用MPI实现并行计算。mpi4py 的核心是基于MPI标准的C/C++实现，它能够在高性能计算环境下进行高效的并行处理。
2024-05-24 14:39:52
1051
原创 Pip，whl，源码编译安装Python库
pip 是 Python 包管理工具，用于安装和管理 Python 包。pip 是 Python 开发中不可或缺的工具，能够帮助开发者轻松地管理项目所需的各种库和依赖。无论是安装新包、升级现有包还是卸载不需要的包，pip 都提供了简单而强大的命令来完成这些任务。
2024-05-24 09:44:35
1204
原创 GCRM-IO与mpi-tile-io
该软件对实现全局云解析模型 (GCRM) 模拟代码的 I/O 内核的PnetCDF方法的性能进行基准测试。GCRM和GIO是用Fortran90编写的。该软件包从GCRM中提取I/O内核并将其转换为C语言，以实现更灵活的参数设置（例如MPI进程数、最大级别）和缓冲区管理的动态内存分配。解决这个问题的方法之一是使用 extern 关键字声明全局变量，然后在一个源文件中定义它。此应用程序的目的是测试非连续环境下的底层MPI-IO和文件系统实现访问工作负载。找到输入参数文件的文件输出路径修改为自己的输出路径。
2024-05-20 15:28:30
1023
原创 安装Pnetcdf顺便升级autoconf与automake
PnetCDF 是一个高性能并行 I/O 库，用于访问 Unidata 的 NetCDF经典格式文件，特别是 CDF-1、2 和 5 格式。CDF-1 是默认的 NetCDF 经典格式。 CDF-2 是通过使用标志 NC_64BIT_OFFSET 创建的扩展格式，以支持 64 位文件偏移量。 CDF-5 文件格式是 CDF-2 的扩展，通过使用标志 NC_64BIT_DATA 创建，支持无符号数据类型并使用 64 位整数，允许用户定义大维度、属性和变量（> 2B 数组元素）。
2024-05-20 11:02:12
797
原创 LAMMPS，ParaDiS
LAMMPS 是一种经典的分子动力学 (MD) 代码，用于模拟液态、固态或气态粒子的集合。它可以使用各种原子间势（力场）和边界条件对原子、聚合物、生物、固态（金属、陶瓷、氧化物）、粒状、粗粒或宏观系统进行建模。它可以对尺寸从几个粒子到数十亿个粒子的 2d 或 3d 系统进行建模。LAMMPS 可以在单台笔记本电脑或台式机上构建和运行，但专为并行计算机而设计。它将在串行和任何支持MPI消息传递库的并行计算机上运行。这包括共享内存多核、多 CPU 服务器以及分布式内存集群和超级计算机。 LAMMPS 的部分内容
2024-05-09 20:15:54
553
1
原创 S3aSIM，HPIO，S3D，BTIO
HPIO（高性能 I/O）基准测试是用于评估/调试 MPI-IO 的非连续 I/O 性能的工具。该软件针对 NASA NAS 并行基准 (NPB) 套件 ( http://www.nas.nasa.gov/publications/npb.html )使用的I/O模式对PnetCDF和MPI-IO方法的性能进行基准测试。该软件对实现S3D 燃烧模拟代码的 I/O 内核的PnetCDF方法的性能进行基准测试。
2024-05-09 19:37:12
685
原创 CM1，HACC
什么是CM1？用科学术语来说：CM1 是一个三维、非静水力、非线性、随时间变化的数值模型，专为大气现象的理想化研究而设计。用非科学术语来说：CM1 是一个用于大气研究的计算机程序。它专为研究地球大气中相对小规模的过程（例如雷暴）而设计。CM1 是一个三维、随时间变化的非静水数值模型，主要由宾夕法尼亚州立大学 (PSU)（约 2000-2002 年）和 NSF 国家大气研究中心 (NSF NCAR) 的 George Bryan 开发）（2003 年至今）。
2024-05-09 16:22:10
636
原创 MADbench2
MADbench2是一款用于测试大规模并行架构的I/O、通信和计算子系统在真实科学应用压力下的综合性能的工具。MADbench2 基于 MADspec 代码，该代码根据天空的噪声像素化图及其像素-像素噪声相关矩阵计算宇宙微波背景辐射的最大似然角功率谱。MADbench2 保留了其父科学应用程序代码的全部计算复杂性，但使用自行生成的伪数据来允许绕过与处理真实 CMB 数据集相关的无数计算上不相关的细节。此外，MADbench2 可以作为单组或多组运行
2024-05-09 15:21:05
1220
原创 更换mpi环境（export，module load）
在计算机集群中，"module" 命令是一种用于管理和加载软件环境的工具。它允许用户在集群中切换和加载不同版本的软件模块，以满足各种应用程序和需求。通过使用 "module" 命令，用户可以轻松地配置自己所需的软件环境，而无需手动设置各种环境变量和路径。
2024-03-24 12:54:24
899
原创 pickle数据序列化和反序列化
本地序列化的情况，应用较少。一般来说，大多数应用场景在网络中，将数据序列化后通过网络传输到远程结点，远程服务器上的服务接受到数据后进行反序列化，就可以使用了。但是，需要注意的是，远端接受端反序列化时必须有对应的数据类型，否则就会报错，尤其是自定义类，必须远程存在。目前，大多数项目都不是单机，不是单服务，需要通过网络将数据传送到其他结点上，这就需要大量的序列化，反序列化。
2024-03-23 11:47:49
779
1
原创 python使用multiprocessing
multiprocessing是Python标准库中的一个模块，用于实现多进程编程。它提供了一种简单而高效的方式来利用多核处理器的能力，通过在多个进程中同时执行任务，加快程序的执行速度和提高系统的吞吐量。
2024-03-09 15:37:27
999
原创 NUMA架构
NUMA这种构架下，不同的内存器件和CPU核心从属不同的 Node，每个 Node 都有自己的集成内存控制器（IMC，Integrated Memory Controller）。在 Node 内部，架构类似SMP，使用 IMC Bus 进行不同核心间的通信；不同的 Node 间通过QPI（Quick Path Interconnect）进行通信
2024-03-09 14:33:32
1342
原创 argparse --- 命令行选项、参数和子命令解析器
argparse 模块可以让人轻松编写用户友好的命令行接口。 程序定义它需要哪些参数，argparse 将会知道如何从 sys.argv 解析它们。 argparse 模块还能自动生成帮助和用法消息文本。 该模块还会在用户向程序传入无效参数时发出错误消息。
2024-03-08 16:53:46
1062
原创 获取linuxIP、内存、cpu、磁盘IO等信息的Shell脚本及其讲解
获取linuxIP、内存、cpu、磁盘IO等信息的Shell脚本及其讲解
2024-03-02 16:53:42
1422
原创 ulimit命令
ulimit 命令用于查看和设置 shell 运行时的资源限制。它可以控制各种资源，如文件打开数量、堆栈大小、CPU 时间等。ulimit 命令通常用于限制 shell 启动的进程的资源使用量，以防止系统资源被耗尽。ulimit命令的主要作用是提高系统的性能和稳定性。通过合理地设置资源限制，可以防止因过度使用系统资源而导致系统崩溃或性能下降。例如，通过设置最大文件大小的限制，可以避免同时打开过多的文件导致系统崩溃；通过设置最大虚拟内存的限制，可以避免进程占用过多的内存导致系统变慢。
2024-02-29 20:08:33
1084
原创 关于/proc/fs/lustre
proc/fs 是一个特殊的虚拟文件系统目录，在 Linux 系统中用于提供有关文件系统的信息和控制接口。这些信息和控制接口可用于监视和管理系统中各种文件系统的状态和行为。
2024-02-21 22:45:38
942
原创 GitHub 2FA认证（双重身份验证）
GitHub 向部分用户发出警告：如果在北京时间 2024 年 1 月 19 日 08:00 前仍未启用双重验证（2FA)，他们将被禁用部分功能。当然，这对于 GitHub 用户来说并不算意外，因为 GitHub 早在 2022 年年中就宣布了这一措施，并且后续 18 个月中又进行了多次提醒。GitHub 指出了采取这一措施的必要性，主要是因为整个软件生态系统的 2FA 采用率总体上仍然很低。目前只有 16.5% 的 GitHub 活跃用户和 6.44% 的 npm 用户使用一种或多种形式的 2FA。
2024-02-21 10:58:39
1781
原创 Ubuntu 22.04安装使用easyconnect
百度百科，EasyConnect能够帮助您在办公室之外使用公司内网的所有系统及应用。在您的公司部署深信服远程应用发布解决方案后，您的公司所有业务系统及应用都可以轻松迁移至移动互联网上。您可以通过手机、PAD等智能移动终端随时随地开展您的业务，尽享移动业务带来的便利与效率。深信服 EasyConnect 是一种快速、简单且安全的远程访问解决方案，允许独立于安装的计算机、从任何设备和任何操作系统访问 Windows 桌面和应用程序。
2024-01-16 17:04:25
2607
2
原创 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver
开机进入grub引导界面，选择Advanced options for Ubuntu，选择一个低版本的内核进入系统，然后通过终端输入uname -r查看当前内核版本确认是否切换成功，若切换成功则输入nvidia-smi查看显卡配置能否打印。
2024-01-14 16:58:28
1216
asp.net基于三层模式教研室教学资料管理系统毕业源码案例设计.zip
2023-10-12
简单的javaweb项目实现登陆注册修改删除等
2020-07-01
网络嗅探器的设计与使用.zip
2020-06-29
Web前端大作业.zip
2020-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人