MindSpore入门--跑通DeepFM模型训练经验

最新推荐文章于 2024-07-12 16:16:27 发布
最新推荐文章于 2024-07-12 16:16:27 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： MindSpore ModelArts 文章标签： python 开发语言 后端 MindSpore 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54227557/article/details/122870259
版权

MindSpore入门–跑通DeepFM模型

A Practice of MindSpore – DeepFM

MindSpore入门–跑通DeepFM模型

本文开发环境如下

  • ModelArts
  • Notebook
  • Ascend*8

本文主要内容如下

  • 环境准备
  • 数据准备
  • 模型训练
  • 发布算法

1. 环境准备

注意事项：

  • 本次笔者基于Ascend进行8卡运行，并且配置了500G的云硬盘。8卡主要作用是防止内存溢出，导致预处理时进程被Killed

1.1 克隆仓库并进入到本地deepfm目录

git clone https://gitee.com/mindspore/models.git mindspore_models
cd mindspore_models/official/recommend/deepfm

可以使用find . -print|sed -e 's;[^/]*/;|--;g;s;--|; |;g'查看deepfm目录结构，目录结构如下所示。

.
|--Dockerfile
|--README.md
|--README_CN.md
|--ascend310_infer
|   |--CMakeLists.txt
|   |--build.sh
|   |--inc
|   |   |--utils.h
|   |--src
|   |   |--main.cc
|   |   |--utils.cc
|--default_config.yaml
|--eval.py
|--export.py
|--infer
|   |--Dockerfile
|   |--convert
|   |   |--convert_om.sh
|   |--data
|   |   |--config
|   |   |   |--deepfm_ms.pipeline
|   |--docker_start_infer.sh
|   |--mindrecord2bin.py
|   |--mxbase
|   |   |--MxBaseInfer.h
|   |   |--MxDeepFmPostProcessor.h
|   |   |--build.sh
|   |   |--eval.py
|   |   |--infer.sh
|   |   |--main.cpp
|   |--requirements.txt
|   |--sdk
|   |   |--sample
|   |   |   |--build.sh
|   |   |   |--eval.py
|   |   |   |--main.cpp
|--mindspore_hub_conf.py
|--modelart
|   |--start.py
|--postprocess.py
|--preprocess.py
|--requirements.txt
|--scripts
|   |--docker_start.sh
|   |--run_distribute_train.sh
|   |--run_distribute_train_gpu.sh
|   |--run_eval.sh
|   |--run_infer_310.sh
|   |--run_standalone_train.sh
|--src
|   |--__init__.py
|   |--callback.py
|   |--dataset.py
|   |--deepfm.py
|   |--model_utils
|   |   |--__init__.py
|   |   |--config.py
|   |   |--device_adapter.py
|   |   |--local_adapter.py
|   |   |--moxing_adapter.py
|   |--preprocess_data.py
|--train.py

1.2 准备开发环境

pip3 install -r requirements.txt

2.数据准备

2.1 下载数据集

数据集下载地址Criteo Kaggle Display Advertising Challenge Dataset

  • http://go.criteo.net/criteo-research-kaggle-display-advertising-challenge-dataset.tar.gz

注意事项

  • 如果使用wget下载速度慢，可以使用迅雷等下载工具下载完成后再上传到服务器。
2.1.1 创建原始数据保存目录，并下载数据集
mkdir origin_data && cd origin_data
wget http://go.criteo.net/criteo-research-kaggle-display-advertising-challenge-dataset.tar.gz
2.1.2 检测数据集MD5（可跳过）
md5sum kaggle-display-advertising-challenge-dataset.tar.gz

会输出如下内容

df9b1b3766d9ff91d5ca3eb3d23bed27  kaggle-display-advertising-challenge-dataset.tar.gz
2.1.3 解压数据集
tar -zxvf kaggle-display-advertising-challenge-dataset.tar.gz
2.1.4 查看数据集目录结构
find . -print|sed -e 's;[^/]*/;|--;g;s;--|;   |;g'

会输出如下内容

.
|--readme.txt
|--test.txt
|--train.txt
2.1.5 数据预处理-转换为MindRecord

数据预处理

cd ../src
python -m preprocess_data --data_path=../ --dense_dim=13 --slot_dim=26 --threshold=100 --train_line_count=45840617 --skip_id_convert=0

会输出如下内容

{'enable_modelarts': 'Whether training on modelarts, default: False', 'data_url': 'Dataset url for obs', 'train_url': 'Training output url for obs', 'data_path': 'Dataset path for local', 'output_path': 'Training output path for local', 'device_target': 'device target, support Ascend, GPU and CPU.', 'dataset_path': 'Dataset path', 'batch_size': 'batch size', 'ckpt_path': 'Checkpoint path', 'eval_file_name': 'Auc log file path. Default: "./auc.log"', 'loss_file_name': 'Loss log file path. Default: "./loss.log"', 'do_eval': 'Do evaluation or not, only support "True" or "False". Default: "True"', 'checkpoint_path': 'Checkpoint file path', 'device_id': 'Device id', 'ckpt_file': 'Checkpoint file path.', 'file_name': 'output file name.', 'file_format': 'file format', 'result_path': 'Result path', 'label_path': 'label path', 'dense_dim': 'The number of your continues fields', 'slot_dim': 'The number of your sparse fields, it can also be called catelogy features.', 'threshold': 'Word frequency below this will be regarded as OOV. It aims to reduce the vocab size', 'train_line_count': 'The number of examples in your dataset', 'skip_id_convert': 'Skip the id convert, regarding the original id as the final id.'}
{'batch_size': 16000,
'checkpoint_path': '/cache/train/deepfm-5_2582.ckpt',
'checkpoint_url': '',
'ckpt_file': '/cache/train/deepfm-5_2582.ckpt',
'ckpt_file_name_prefix': 'deepfm',
'ckpt_path': '/cache/train',
'config_path': '/home/ma-user/work/DeepFM-kewei/mindspore_models/official/recommend/deepfm/src/model_utils/../../default_config.yaml',
'convert_dtype': True,
'data_emb_dim': 80,
'data_field_size': 39,
'data_format': 1,
'data_path': '../',
'data_url': '',
'data_vocab_size': 184965,
'dataset_path': '/cache/data',
'deep_layer_args': [[1024, 512, 256, 128], 'relu'],
'dense_dim': 13,
'device_id': 0,
'device_target': 'Ascend',
'do_eval': 'True',
'enable_modelarts': False,
'enable_profiling': False,
'epsilon': 5e-08,
'eval_callback': True,
'eval_file_name': './auc.log',
'file_format': 'AIR',
'file_name': 'deepfm',
'init_args': [-0.01, 0.01],
'keep_checkpoint_max': 50,
'keep_prob': 0.9,
'l2_coef': 8e-05,
'label_path': '',
'learning_rate': 0.0005,
'load_path': '/cache/checkpoint_path',
'loss_callback': True,
'loss_file_name': './loss.log',
'loss_scale': 1024.0,
'output_path': '/cache/train',
'result_path': './preprocess_Result',
'save_checkpoint': True,
'save_checkpoint_steps': 1,
'skip_id_convert': 0,
'slot_dim': 26,
'test_num_of_parts': 3,
'threshold': 100,
'train_epochs': 5,
'train_line_count': 45840617,
'train_num_of_parts': 21,
'train_url': '',
'weight_bias_init': ['normal', 'normal']}
Please check the above information for the configurations
2.2.1 开始训练
python train.py \
  --dataset_path='train' \
  --ckpt_path='./checkpoint' \
  --eval_file_name='auc.log' \
  --loss_file_name='loss.log' \
  --device_target=Ascend \
  --do_eval=True > ms_log/output.log 2>&1 &

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Hb2BCiNx-1644501708766)(C:%5CUsers%5C25122%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20220206210219019.png)]

模型评估

python eval.py \
  --dataset_path='train' \
  --checkpoint_path='./checkpoint/deepfm-5_2582.ckpt' \
  --device_target=Ascend > ms_log/eval_output.log 2>&1 &
OR
bash scripts/run_eval.sh 0 Ascend /dataset_path /checkpoint_path/deepfm.ckpt

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SRtB7qrq-1644501708767)(C:%5CUsers%5C25122%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20220206210320733.png)]

导出MindIR

python export.py --ckpt_file ./checkpoint/deepfm-5_2582.ckpt --file_name deepfm_kewei --file_format MINDIR

cd scripts
bash run_infer_310.sh ../mindir ../train n 0

image-20220206211300678

image-20220206211318843

模型在notebook调通之后，我们就可以在modelarts部署deepfm的算法了。

image-20220207175145712

3。发布算法

我已将算法发布到AI Gallery，供大家训练使用。

deepfm模型算法 (huaweicloud.com)

irrationality
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
deepFM实现基于TensorFlow
04-16
deepFM推荐模型，基于深度学习，内含测试数据和详细代码，可参考
推荐系统模型训练DeepFM算法
小叮当的博客
04-15 1191
文章目录深度学习模型需要加强处理特征交叉的能力传统的机器学习模型FM深度学习模型DeepFM特征交叉新方法：元素积操作DeepFM的TensorFlow实现 深度学习模型需要加强处理特征交叉的能力 传统的Embedding MLP和Wide&Deep模型都没有针对性的处理特征交叉问题。虽然MLP有拟合任意函数的能力，但这是建立在MLP有任意多层网络，以及任意多个神经元的前提下的。因为在训练资源有限，调参时间有限的现实情况下，MLP对于特征交叉的处理其实还比较低效。 MLP是通过concatenat
【炼丹手记】在ModelArts上使用AI芯片Ascend训练基于MindSpore的DeepFM
UnseenMe的博客
12-26 1103
论文 DeepFM: A Factorization-Machine based Neural Network for CTR Prediction https://arxiv.org/abs/1703.04247 CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概率。 在CTR预估任务中，特征非常重要。 这篇论文提出的DeepFM模型是一种可以从原始特征中抽取到各种复杂度特征的端到端模型，可以有效避免人工特征工程的困扰。 数据集 criteo是非常经典的点击率预估比赛数据集。 下载地址如
深度学习之DeepFM实操演练
yftadyz的博客
07-07 1395
本文描述了deepFM的基本原理和实现方法，并使用titanic数据集做了实操演练，训练并评估模型。
DeepFM模型
Rory的博客
01-15 1876
在推荐系统中，学习特征的交互对于最大化CTR是非常重要的。尽管现有的方法都取得很大的成功，对于低阶和高阶的特征交互研究很少，还需要一些实验和特征工程。在本文中，我们展示了低阶和高阶交互的端对端学习。采用的模型是DeepFM，它将推荐系统的FM模型和深度模型进行整合。通过和谷歌的Wide&Deep模型对比，DeepFM的wide和deep部分共享输入，不需要对原始数据进行特征工程。基于bench-mark data和commercial data对DeepFM在CTR预估方面进行综合试验。 1.简介
tensorflow2实现DeepFM(基于DataFrame格式训练数据)
u012762419的博客
06-14 2767
tensorflow2实现实现DeepFM 网上有很多deepFM的实现版本，最广为人知的就是chenchenglong的那一版，这个实现是在Libsvm格式训练数据的基础上实现的，我下面的实现是在DateFrame格式训练数据的基础上实现的。 模型结构和训练数据的格式息息相关，为了配合DataFrame格式的训练数据，我把数据拆分成numeric部分和catogorical两部分，作为两个输入喂给模型(keras支持多输入和多输出)，输出只有一个。 FM要求变量做embedding后还要和自身的值相乘，这
Rec-Hub组队学习（1）
z_modi的博客
06-14 1038
组队学习Rec-Hub
mindspore-nlp-tutorial:MindSpore用户的自然语言处理教程
05-18
mindspore-nlp-教程 mindspore-nlp-tutorial是针对谁正在使用MindSpore研究NLP（自然语言处理）的教程。 该存储库是从迁移的。 NLP中的大多数模型都是从Pytorch版本迁移而来的，少于100行代码（注释或空白行除外） ...
mindspore-lite-1.1.0-inference-android
01-19
压缩包中可能包含了模型转换工具，如MindSpore模型转换器（mindspore-lite-converter），该工具能够将训练好的MindSpore模型或其他常见格式的深度学习模型（如TensorFlow、ONNX等）转换为MindSpore Lite可以执行的...
Advertising数据集下载
07-04
Advertising.csv 是机器学习中线性回归算法中 双特征的典型数据集 ， 希望喜欢。
昇思25天打卡营-mindspore-ML- Day9
06-27
FCN图像语义分割，mindspore平台
mindspore 模型训练
06-26
mindspore 模型训练
[从零开始学DeepFaceLab-10]: 使用-命令行八大操作步骤-第6步：模型的选择与训练 - 模型训练
文火冰糖（王文兵）的博客
05-04 3万+
目录 总体流程： 步骤6：模型的选择与训练 - 模型训练命令 6.1 命令：【6) train Quick96.bat】-- 适用CPU only情形以及快速学习 -- 必需之一 6.2 命令：【6) train SAEHD.bat】-- 适用于高质量输出的场合 -- 必需之一 6.3命令：【6) train AMP.bat】-- 适用于实时应用的场合 -- 必选之一 6.4 开始模型训练 6.5如何查看模型的训练效果？ 6.6何时可以停止模型的训练？ 6.7如何停止模型的训练？...
「DeepFaceLive」：AI 技术改变影视行业，让你的面部表情和动作成为电影明星
Winfredzhang的博客
07-13 2368
在 Windows 系统中，你需要打开「控制面板」->「系统和安全」->「系统」->「高级系统设置」->「性能设置」->「高级」->「更改」->「自定义大小」，将「初始大小」和「最大大小」都设置为「自动管理所有驱动器的分页文件大小」。DeepFaceLive 会将一个人的面部表情和动作合成到另一个人的脸上，从而实现非常逼真的面部合成效果。DeepFaceLive 是一款基于人工智能的面部合成技术，它可以将一个人的面部表情和动作合成到另一个人的脸上，从而实现非常逼真的面部合成效果。设置成16G-32G即可。
Kaggle ： Display Advertising Challenge( ctr 预估 )
热门推荐
hero_fantao的专栏
01-15 3万+
CriteoLabs  kaggle 展示广告ctr预估比赛
resize或者ravel一个128*112*112*48的Tensor的时候，报错TimeoutError和RuntimeError: Response is empty
weixin_45666880的博客
11-07 239
***************************************************解答*****************************************************您可能需要降低batch_size（如果它是x_2的某个维度的话），或者，ops.inplaceadd可能有用。不知道是不是和算子融合有关系，但是关闭之后也试过，还是不行，又或者说数据太大了？以上代码将x_2的resize的操作换成如下操作。也一样报错 具体报错信息如下。
DeepFM详细流程解析及建模演示
Jeremiah_的博客
10-14 3453
· 流程解析 关于DeepFM理论的说明，很多博客或论文已有说明，这里就不再赘述。下面主要是说一下模型如何使用以及在整个过程中，算法对数据做了些什么事。 首先还是这张图： 一眼看过去，超级复杂是不是？确实，但是别慌，我们一小块一小块地看。 1、Sparse Feature框框 Sparse Feature是指离散型变量。比如现在我有数据：xx公司每个员工的姓名、年龄、岗位、收入的表格，那么年龄和岗位就属于离散型变量，而收入则称为连续型变量。这从字面意思也能够理解。 好，现在Sparse Fe
cv2读取和保存图片
最新发布
m0_53291740的博客
07-12 111
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
使用MindSpore实现ResNet-34
06-01
好的，下面是使用MindSpore实现ResNet-34的步骤： 1. 导入必要的库 ```python import mindspore.nn as nn from mindspore import Tensor from mindspore.ops import operations as P ``` 2. 定义基本的卷积块 ```python class ConvBlock(nn.Cell): def __init__(self, in_channels, out_channels, kernel_size, stride=1, padding=0): super(ConvBlock, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding, has_bias=False) self.bn = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU() def construct(self, x): x = self.conv(x) x = self.bn(x) x = self.relu(x) return x ``` 3. 定义ResNet-34的基本块 ```python class BasicBlock(nn.Cell): expansion = 1 def __init__(self, in_channels, out_channels, stride=1, downsample=None): super(BasicBlock, self).__init__() self.conv1 = ConvBlock(in_channels, out_channels, kernel_size=3, stride=stride, padding=1) self.conv2 = ConvBlock(out_channels, out_channels, kernel_size=3, stride=1, padding=1) self.downsample = downsample self.stride = stride def construct(self, x): identity = x out = self.conv1(x) out = self.conv2(out) if self.downsample is not None: identity = self.downsample(x) out += identity out = nn.ReLU()(out) return out ``` 4. 定义ResNet-34的主体部分 ```python class ResNet34(nn.Cell): def __init__(self, num_classes=1000): super(ResNet34, self).__init__() self.in_channels = 64 self.conv1 = ConvBlock(3, 64, kernel_size=7, stride=2, padding=3) self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1) self.layer1 = self._make_layer(BasicBlock, 64, 3, stride=1) self.layer2 = self._make_layer(BasicBlock, 128, 4, stride=2) self.layer3 = self._make_layer(BasicBlock, 256, 6, stride=2) self.layer4 = self._make_layer(BasicBlock, 512, 3, stride=2) self.avgpool = nn.AvgPool2d(kernel_size=7, stride=1) self.fc = nn.Dense(512 * BasicBlock.expansion, num_classes) def _make_layer(self, block, out_channels, num_blocks, stride): downsample = None if stride != 1 or self.in_channels != out_channels * block.expansion: downsample = nn.SequentialCell([ nn.Conv2d(self.in_channels, out_channels * block.expansion, kernel_size=1, stride=stride, has_bias=False), nn.BatchNorm2d(out_channels * block.expansion) ]) layers = [] layers.append(block(self.in_channels, out_channels, stride, downsample)) self.in_channels = out_channels * block.expansion for i in range(1, num_blocks): layers.append(block(self.in_channels, out_channels)) return nn.SequentialCell(layers) def construct(self, x): x = self.conv1(x) x = self.maxpool(x) x = self.layer1(x) x = self.layer2(x) x = self.layer3(x) x = self.layer4(x) x = self.avgpool(x) x = P.Reshape()(x, (x.shape[0], -1)) x = self.fc(x) return x ``` 5. 加载数据和训练模型 这里的数据加载和训练模型的部分可以根据具体的数据集和训练需求进行编写。 以上就是使用MindSpore实现ResNet-34的基本步骤，你可以根据自己的需要进行修改和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

irrationality

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值