- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 离线环境下使用LLama-Factory WebUI
WebUI启动，需要指定下载好的预训练模型，由于使用Docker部署，这里需要目录挂载，即本机上下载的模型，挂载到docker容器内微调的数据集也需要挂载的Docker容器的内部。设置微调的参数进行微调。此时会调用train.py，日志同时会输出微调信息，包括数据集的情况，微调参数等。在界面输入导出的路径，使用Docker挂载的路径，即/app/output，导出到主机。进行了目录挂载，即把微调需要的数据集放在主机的/app/data下即可。进行了目录挂载，把需要的与预训练模型放在主机的对应目录下。
2025-03-24 17:30:31
616
原创 LLamafactory部署
在联网环境下，使用conda联网部署方法下载好依赖后，使用conda pack将虚拟环境导出，传入离线环境，在联网下，使用docker联网部署方法下载好后。将下载好的tar导入离线环境执行。进入容器内部使用webui。
2025-03-18 15:59:25
577
原创 PySpark安装与使用
在spark的bin/pyspark:在里面直接写spark.sql(“sql语句”).show()即可，也可以bin/pyspark --master yarn运行pyspark测试spark on Yarn的环境。目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）1、修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf。
2024-06-19 21:13:22
1491
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人