- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 多机多卡分布式训练
注意：所有机器均需要安装一模一样的环境：版本需要一致；conda安装路径一致；同时cuda和pytorch版本相对应，如下图所示。如下所示，启动2台服务器，服务器每台一张显卡。方式一：使用pdsh，仅需要在主节点启动。
2023-11-01 15:41:49
2883
2
原创 安装运行bitsandbytes失败
问题1：Loading binary /data/miniconda3/envs/whisper/lib/python3.9/site-packages/bitsandbytes/libbitsandbytes_cuda118.so...
2023-09-14 14:03:58
1249
1
原创 平台相关常用接口、函数
方法二，此方法，可将其编写在其它文件子函数里，并实现进行一步异常处理统一返回给前端。5、Docker-compose.yml方法构建镜像并部署。1）接口参数数据校验。jsonschema。4、dockefile 构建镜像。3）单/多进程 + 协程。2、进程相关常用函数。6、重写yaml文件。
2023-08-16 16:22:46
297
1
原创 sql日常语句
1、一个表字段中存了id,并以逗号分隔,id对应的详细信息在另一个表中。（场景，标签数据对应）如下所示两张表u、b：需要生成如下所示效果表：实现代码：-- 利用find_in_set()和group_concat()函数select u.id,u.名称, group_concat(b.名称) "爱好" from u left join b on find_in_set(b.id,u.爱好Id) group by u.id;...
2021-07-29 18:04:49
141
原创 wsl2 上安装并远程连接docker
wsl 上安装并远程连接docker安装docker ce 版本配置可远程连接docker1、安装docker ce 版本1） 检查是否已经安装docker# 查看docker状态，如若出现类似“* Docker is running”,则已经安装sudo service docker status2）安装docker ce版本# curl指令安装curl https://get.docker.com | sh3）启动dockersudo service docker sta
2021-03-29 17:40:45
1423
1
原创 tensorflow-gpu最新安装（显卡3090/3080）
tensorflow-gpu安装目录环境硬件环境软件环境整体安装流程1、Python安装2、安装CUDA、CUDNN3. 安装tensorflow参考网站环境这里环境包含两方面，硬件环境与软件环境。首先需要说明一下，对于任何软件或框架对硬件都有最低配置要求以及新的硬件可能对于旧版本软件不支持，所以在安装任何软件前最好查看官网说明，防止出现莫明其妙的错误、硬件环境这里，我先简单说明一下，本人的硬件配置，配置如下所示：CPU：AMD Ryzen 7 3700X；内存：32.0 GB；显卡 ：英伟
2020-11-19 23:07:46
8735
14
原创 pyspark常用操作
1、时间处理，提取日期、小时：from datetime import datetrain = train.toDF("label", "uId", "adId", "operTime", "siteId", "slotId", "contentId", "netType")print(train.dtypes)train.show(n=20)train = train.with...
2019-05-28 16:19:19
2869
原创 Jupyter notebook安装使用及其相关问题
Jupyter notebook安装使用1、Jupyter Notebook介绍、安装及使用教程，包括切换环境内核及添加扩展功能：参考博客：Jupyter Notebook介绍、安装及使用教程https://www.jianshu.com/p/91365f3435852、pip安装jupyter_contrib_nbextension扩展功能，我这里conda指令安装出现问题，所以使用...
2019-05-27 13:07:41
614
原创 python dataframe 的高级操作
python dataframe 的高级操作1、groupby 与 apply的结合使用1）对dataframe进行分组，并将分组结果合并(某列多行变一行)2） 对dataframe进行分组，并将分组结果合并后排序或将list转tuple，以及将某一值映射（贴标签）1、groupby 与 apply的结合使用groupby：主要用于分组聚合，可结合统计函数（mean()、min()、sum(...
2019-03-23 22:27:29
7430
1
原创 datax windows下安装及使用（linux）
安装前，需要以下依赖环境：1、下载datax，下载的为压缩包文件：https://github.com/alibaba/DataX2、将datax压缩包解压在安装目录：3、进入windows中cmd命令环境中：解压后，可直接运行样例，查看是否安装成功：出现如下类似如下所示：4、配置/job/job.json文件内容：若将数据从MySQL发送数据到...
2018-09-27 22:11:09
6134
原创 linux(centos)下安装mysql5.7(mysql8.0类似)
本人使用的是centos64位系统。mysql安装步骤如下：1、下载mysql安装包---二进制压缩包：下载免费社区版本：MySQL5.7/8.0：https://dev.mysql.com/downloads/mysql/2、查看系统是否自带mysql，若有则将其卸载，同时查看mysqlf进程是否正在运行，否则会导致安装启动MySQL失败：rm -rf /var...
2018-09-27 13:09:45
439
原创 HDFS基本操作
1、HDFS的基本命令格式为：命令：hdfs dfs -cmd <args>注：cmd就是具体的命令，cmd前面的“-”千万不能省略。 本人已经设置了环境变量，则可以在任意的路径下可直接使用hdfs，否则进入hadoop安装路径HADOOP_HOME后，使用如下指令：./bin/hdfs dfs -cmd <args>2、列出文件目录：命令...
2018-08-16 21:07:37
12963
原创 linux下安装anaconda-更换默认安装路径
1、下载anaconda2/anaconda3，下载地址：https://www.anaconda.com/download/#linux，anaconda官网如下所示，选择对应版本下载。2、使用如下指令安装：#bash 路径/anaconda2(*.sh)或bash 路径/anaconda3(*.sh) -u3、回车-接受协议，接受协议（yes），输入安装路径（更换默认安装路径...
2018-06-09 20:57:14
42743
原创 python 安装第三方包-安装失败(pycharm/ anaconda navigator)
安装/卸载第三包：方法一：pip install包名；pip uninstall包名。方法二：pip install下载路径\包名.whl （需要先下载第三包：地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/，找到所需的包并下载保存），如下例安装gensim包所示：方法三：若在pycharm编辑中，则在菜单setting/project...
2018-05-30 20:40:03
58680
4
AES_MATLAB代码
2017-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人