- 博客(15)
- 收藏
- 关注
RSS订阅原创 AI平台介绍
AI平台推出后，用户使用期间，在其远端数据中心存在大规模小文件数据集，而目前的文件存储系统，对于小文件的处理并不理想，而且，小文件处理也是业界难题。在巨大的市场中，总有想要自研，搭建自己平台的公司，对于资源有限的公司，上述两个课题的内容，都会遇到，并且需要解决。对于，提前入局，并持续在此领域工作、学习、研发的我来说，有幸在目前的公司，负责其中一项攻关课题，并取得突破，获得了相关成果。整理AI平台技术的同时，也会展示学习过程，以及遇到问题，如何分析、调研、验证，并最终应用到AI平台，解决相关问题的能力。
2024-06-25 17:43:33
10
原创 scheduler定时任务分析和整理
1、先查看@EnableScheduling2、通过import加载了(SchedulingConfiguration.class)配置类3、ScheduledAnnotationBeanPostProcessor类源码分析找到@Scheduled方法后，调用processScheduled方法处理定时任务 fixDelay=2000，定时2秒，任务A执行时间为1秒，任务B执行时间为3秒，从实际测试结果可以看出，无论任务执行多长时间，任务下次
2022-09-26 17:42:50
259
1
原创 定制镜像制作指南（AI平台使用）
按照要求定制或者制作的镜像，只安装了客户需要的组件，由于镜像中的操作系统都是MINI版，客户实际使用过程中，需要的各种库或者依赖包，一般在线安装定制组件的时候，有些共享库或者组件包，并不会被自动安装，需要专门指定安装。制作镜像，需要在联网环境，如果不能联网，需要自己到联网环境，下载离线包，再拷贝到离线环境制作镜像，但是不推荐，因为，安装的组件，依赖包比较多，少下载一个，就可能导致离线安装组件失败，如果经验比较丰富，在线和离线都可以。本文以在线制作镜像为主，会提供离线下载组件和离线安装组件命令。
2022-09-26 17:20:16
700
原创 Docker镜像解析出Dockerfile
在使用NVIDIA官方NGC提供的框架镜像时，官方在镜像里面已经配置jupyter等组件，配置方式和我们不一样，导致镜像导入AIStation平台时，无法使用jupyter。即使我们重新配置，也无法生效，因为配置方式不一样， 为了提高效率和节省时间，针对类似现象，提供一种解决该问题的参考方式。通过Dockerfile制作的镜像，解析出Dockerfile, 该方式不适用于所有镜像，只针对Dockerfile制作的镜像，而且解析出的Dockerfile仅供参考，和实际的原Dockerfile文件是有差别的。
2022-09-26 16:36:00
1602
原创 mysql数据库查询sql执行日志（linux环境）
1、登录数据库确认是否开启了日志2、查询日志文件3、使用mysql自带的mysqlbinlog查询二进制文件。
2022-09-26 16:26:53
4897
原创 beegfs源码分析
BeeGFS的客户端是由一个内核模块和两个系统服务组成的，这里咱们主要分析内核模块。由于BeeGFS的目录树解析，是在父目录DEntry里找子目录或文件DEntry，逐级迭代完成的，所以在Mount文件系统时，须要从管理节点获取根元数据节点的ID，而后再向根元数据节点查询根目录的DEntry的信息，为后续的目录解析打下基础。获取类似/data/beeond/data/dentries/38/51/root/#fSiDs#/文件fileId的父路径。1.1 FileID的生成。Session网络消息。
2022-09-26 15:51:43
1067
原创 beegfs容器开发、编译和调试
安装好后的Cmake位于/usr/local/share/cmake-3.18.6/，可执行程序位于/usr/local/bin/cmake。重新编译后，/opt/beegfs/src/client/client_module_7/source下会生成最新的beegfs.ko文件。gdb将被安装到/usr/local/share/gdb目录，可执行程序位于/usr/local/bin/gdb。重启beegfs-meta服务后，可以看到对meta源码的修改日志打印，可以调试修改后的功能。
2022-09-26 15:15:58
459
原创 docker-java使用docker 2375或者2376端口
一、docker使用TLS开启23761.1使用Openssl生成CA、服务器和客户端密钥#cd 到证书生成目录cd /etc/.docker/certs$HOST为服务器ip$ openssl genrsa -aes256 -out ca-key.pem 4096Generating RSA private key, 4096 bit long modulus..........................................................
2020-08-06 14:48:45
816
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人