MindSpore入门--跑通BCGF模型开发手册

MindSpore入门–跑通BCGF模型

An Introduction To MindSpore – BCGF

MindSpore入门–跑通BCGF模型

本文开发环境如下

• ModelArts
• Notebook
• Ascend

本文主要内容如下

• 环境准备
• 数据准备
• 模型训练

1. 环境准备

注意事项：

• 本次笔者基于Ascend进行8卡运行，并且配置了500G的云硬盘。8卡主要作用是防止内存溢出，导致预处理时进程被Killed

1.1 克隆仓库并进入到本地BCGF目录

git clone https://gitee.com/mindspore/models.git mindspore_models
cd mindspore_models/official/gnn/bgcf

可以使用find . -print|sed -e 's;[^/]*/;|--;g;s;--|; |;g'查看deepfm目录结构，目录结构如下所示。

.
|--README.md
|--README_CN.md
|--ascend310_infer
|   |--CMakeLists.txt
|   |--build.sh
|   |--inc
|   |   |--utils.h
|   |--src
|   |   |--main.cc
|   |   |--utils.cc
|--default_config.yaml
|--eval.py
|--export.py
|--mindspore_hub_conf.py
|--model_utils
|   |--__init__.py
|   |--config.py
|   |--device_adapter.py
|   |--local_adapter.py
|   |--moxing_adapter.py
|--postprocess.py
|--preprocess.py
|--requirements.txt
|--scripts
|   |--run_eval_ascend.sh
|   |--run_eval_gpu.sh
|   |--run_infer_310.sh
|   |--run_process_data_ascend.sh
|   |--run_train_ascend.sh
|   |--run_train_gpu.sh
|--src
|   |--bgcf.py
|   |--callback.py
|   |--dataset.py
|   |--metrics.py
|   |--utils.py
|--train.py

1.2 准备开发环境

pip3 install -r requirements.txt

2.数据准备与训练

2.1 下载数据集

数据集下载地址Amazo Beauty

• http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_All_Beauty.csv
• http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_Beauty.csv

注意事项

• 如果使用wget下载速度慢，可以使用迅雷等下载工具下载完成后再上传到服务器。

2.1.1 创建原始数据保存目录，并下载数据集

mkdir cache && cd cache
mkdir amazon && cd amazon
wget http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_All_Beauty.csv
wget http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_Beauty.csv

2.1.2 检测数据集MD5（可跳过）

md5sum ratings_All_Beauty.csv
md5sum ratings_Beauty.csv

会输出如下内容

[ma-user amazon]$md5sum ratings_All_Beauty.csv
896df55afb738295ff446fdd0b0a7749  ratings_All_Beauty.csv
[ma-user amazon]$md5sum ratings_Beauty.csv
8d933dae79f7d5156d3368dcfe6cee84  ratings_Beauty.csv

2.1.3 查看数据集目录结构

find . -print|sed -e 's;[^/]*/;|--;g;s;--|;   |;g'

会输出如下内容

.
|--ratings_All_Beauty.csv
|--ratings_Beauty.csv

2.1.5 数据预处理-转换为MindRecord（MR）并保存到obs

数据预处理

cd ..
cd ..
cd scrtpts
bash ./run_process_data_ascend.sh ../cache/amazon

进入到python环境，将模型保存。

#进入到gnn目录下执行操作
mox.file.copy_parallel("bgcf/scripts/data_mr", "obs://ms-models/amazon-beauty/mind-record")
mox.file.copy_parallel("bgcf", "obs://ms-models/bgcf/bgcf")

3.开始训练

下面我们利用已有的mr文件部署算法开始训练。

训练结束。

4.发布算法

算法已发布至BCGF模型算法 (huaweicloud.com)