mlperf_minigo_tensorflow强化学习模型

于 2024-08-07 06:00:00 发布
阅读量220 收藏 11
点赞数 10
分类专栏： 人工智能&深度学习&机器学习 文章标签： tensorflow 人工智能 python 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/140579421
版权

MiniGo

论文

Mastering the game of Go without human knowledge

模型结构

Minogo是一个基于深度强化学习的围棋程序，模型灵感来源于Google DeepMind开发的AlphaGo算法。

算法原理

该程序基于Tensorflow框架实现。Minigo的核心是AlphaZero论文中描述的强化学习循环。简单地说，使用当前一代网络权重的selfplay被用来生成游戏，这些游戏被用作训练数据来生成下一代网络权重。

环境配置

Docker (方法一)

提供光源拉取的训练的docker镜像：

docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:mlperf-minigo-latest
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Container Path>容器映射路径
docker run -it --name mlperf_minigo --shm-size=32G  --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash

Dockerfile (方法二)

docker build --no-cache -t mlperf_minigo:latest .
docker run -it --name mlperf_minigo --shm-size=32G  --device=/dev/kfd --device=/dev/dri/ --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --ulimit memlock=-1:-1 --ipc=host --network host --group-add video -v <Host Path>:<Container Path> <Image ID> /bin/bash
# <Image ID>用上面拉取docker镜像的ID替换
# <Host Path>主机端路径
# <Container Path>容器映射路径

镜像版本依赖：

  • DTK驱动：dtk22.04.2
  • python: python3.8.2

测试目录:

/root/minigo

数据集

训练数据：所有的训练数据都是在强化学习循环的selfplay阶段生成的。 唯一需要下载的数据是checkpoint以及target model，下载数据可按照下述进行：

# Download & extract bootstrap checkpoint.
    gsutil cp gs://minigo-pub/ml_perf/0.7/checkpoint.tar.gz .
    tar xfz checkpoint.tar.gz -C ml_perf/
# Download and freeze the target model.
mkdir -p ml_perf/target/
    gsutil cp gs://minigo-pub/ml_perf/0.7/target.* ml_perf/target/

训练

单机多卡

单机8卡进行性能&&精度测试

cd /root
source env.sh
cd /root/minigo
bash sbatch.sh >& log.txt &

result

精度

采用上述输入数据，加速卡采用Z100L * 8，可最终达到官方收敛要求，即达到目标精度50% win rate vs. checkpoint；

卡数类型进程数达到精度
8FP32850% win rate vs. checkpoint

应用场景

算法类别

强化学习

热点应用行业

广媒,科研,金融

源码仓库及问题反馈

参考资料

技术瘾君子1573
关注
  • 10
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python-Minigo基于AlphaGoZero核心算法TensorFlow极简围棋引擎
08-11
Minigo: 基于AlphaGo Zero核心算法(TensorFlow)极简围棋引擎
minigo源码.pdf
06-11
AlphaGo的实现，基于Tensorflow框架，是了解AlphaGo原理的最佳用例，也是google推荐的AlphaGo论文的实现。为了方便大家空闲时候在ipad上阅览，特意制作此电子书。
Ghost-master_ghost_python_幻影围棋_
09-29
在围棋领域，这种程序通常依赖于深度学习算法，如Minigo，来模仿人类或机器的对弈策略。 【描述】"基于minigo的幻影围棋，支持人机，机机博弈程序" 揭示了该项目的核心技术——Minigo。Minigo是谷歌DeepMind开发的...
minigo：minigo是一个从头开始制作的小型Go编译器。 它可以自行编译
01-31
Minigo :front-facing_baby_chick: 从头开始的Go编译器。描述minigo:front-facing_baby_chick:是从头制作的小型Go编译器。 它可以自行编译。 生成单个静态二进制可执行文件不依赖yacc / lex或任何外部库标准库也从头...
开源围棋AI(Leela,MiniGo,Elf,SAI,Zen,Pachi)20200907-windows64全自动配置版本（含所有程序之傻瓜版本）.rar
06-16
开源围棋AI，带棋盘自动识别，无需配置(Leela,MiniGo,Elf,SAI,Zen,Pachi)20200907-windows64全自动配置版本（含所有程序之傻瓜版本）,适合新手，无需参与配置同，打开Leela,选择一个权重OK！
Tensorflow Serving部署及客户端访问编程实践
uestcai的博客
08-06 787
昨天我们实现了Tensorflow.js的花卉识别程序，它的优点是不需要服务器支持，在客户端就可以完成花卉识别，使用非常方便，但也存在一些缺点。对于很多深度学习的应用来说，由于其训练模型复杂、计算量大，所以，一般来说，仍然需要服务器支持。下面仍然以花卉识别为例，介绍如何部署Tensorflow Serving及客户端编程。
Python 爬虫入门（十）：Scrapy选择器「详细介绍」
blues_C的博客
08-06 528
欢迎来到“Python 爬虫入门”系列文章。在网络爬虫中，选择器是解析和提取网页内容的重要工具，不同的选择器有不同的特点和应用场景。CSS选择器、XPath选择器、正则表达式和PyQuery选择器，并结合具体实例讲解如何在Scrapy中使用这些选择器来提取数据。为了更好的展示，我们将使用的数据。不同的选择器有不同的特点和适用场景。通过掌握CSS选择器、XPath选择器、正则表达式和PyQuery选择器的使用方法，可以有效地提取网页中的数据。
第T7周：使用TensorFlow实现咖啡豆识别
weixin_47918905的博客
08-06 459
从输出结果看，val_accuracy最高为0.9958，接近1，精度损失这样的程度下，但是模型大小是降到了接近原模型的1/7，还算是成功。现在尝试只加载下图的除去绿色的部分，并且冻结模型的卷基层的权重参数，让它们不参加训练，手动加上自定义的全连接层和Dropout层。，相比于原模型，降低了很多。的卷基层权重参数，让最后三个卷基层加上全连接层的权重参数加入训练。在上个冻结了模型所有卷基层的基础上，解冻最后的三个卷基层。上边我们可以看到官方的VGG16模型的。语言环境：Python 3.8.0。
JS+CSS案例：用CSS+JS做漂亮的拟真时钟
uu0216的博客
08-06 220
今天给大家分享一个挺酷的CSS+js模拟的时钟。
吴恩达机器学习笔记 三十九 协同过滤的TensorFlow实现
XinxingZh的博客
08-06 95
如上图，设 f( x ) = wx，成本 J 为(wx - 1)^2，用GradientTape()这个函数，TensorFlow会记录计算成本J所需的操作序列，保存在 tape 中。dJdw为自动计算出的导数。TensorFlow中这个被称为AutoDiff，一些其他的机器学习包，例如pytorch也支持AutoDiff，有时也称autograd。TensorFlow的一个优点：可以自动算出成本函数的导数。
GPT-4o mini的变革及其对用户的影响
Brian_blog
08-01 433
GPT-4o mini 的发布不仅是技术进步的一大步，也为开发者和用户带来了深远的变革。从降低成本、提升开发效率到改善用户体验和推动个性化服务，这一模型正在重塑我们与技术互动的方式。对于开发者来说，它是一个强大的工具；对于用户来说，它则是一个提升服务质量和个性化体验的利器。随着 GPT-4o mini 的广泛应用，我们可以期待更多创新和变革的到来。
Crowd-SAM：SAM作为拥挤场景中目标检测的智能标注器
最新发布
AI浩
08-06 487
问题定义。如图1所示，我们的目标是在标记数据很少的情况下，检测拥挤场景中的对象（如行人）。我们将此问题表述为一类小样本检测任务。常见的小样本流程是将数据分为基础集和新集。不同的是，我们直接使用目标类的数据进行模型训练，因为基础模型已经在大规模数据上进行了训练。特别是，我们采用分割掩码作为中间结果，这些结果可以很容易地转换为边界框。在训练和评估过程中，仅提供边界框标注。对SAM自动生成器的初步研究。提示数量会影响SAM的性能，我们针对拥挤场景分析了这一问题。
【OpenCV C++20 学习笔记】给图片加边框-copyMakeBorder
TeamLee的博客
08-06 176
简单介绍在OpenCV中如何用copyMakeBorder的方法给图片添加边框
常见的文心一言的指令
知码客
07-25 2471
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
电脑技巧：9个免费的AI图片无损放大工具和网站
08-05 526
今天小编给大家介绍9款免费的AI图片放大工具和网站，帮助你提高图片清晰度，感兴趣的朋友可以自己试一试！美图设计室是美图秀秀公司推出的一款在线图片编辑和设计工具箱，提供包括AI 抠图、AI海报、AI PPT、AI消除、AI文生图、AI变清晰、AI无损放大等AI图片编辑工具。其提供的图片无损放大功能，目前是限时免费中，可以帮助用户将JPG、JPEG、PNG、HEIC等格式的图片放大清晰不失真，细节更丰富。✅ 产品优点由美图推出，产品功能稳定，处理速度较快支持免费进行图片放大到8倍。
【IEEE出版 | 高录用率 | 快速检索 | 有ISBN号！】2024年智能计算与数据挖掘国际学术会议 (ICDM 2024，9月20-22)
Jurio的博客
08-01 619
IEEE出版 | 高录用率 | 快速检索 | 有ISBN号！2024年智能计算与数据挖掘国际学术会议 (ICDM 2024) 2024 International Conference on Intelligent Computing and Data Mining
【Python】Numpy概述安装及使用
Q20011102的博客
08-03 515
Numpy是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组与矩阵运算，Numpy支持向量处理ndarray对象，提高程序运算速度。数组计算、数组存取函数、加权平均函数可让其在python中使用向量和数学矩阵在数据科学、人工智能（包括深度学习、语言处理分支）发挥重要作用。
RPA+AI有什么应用？6大技术融合方向分析 | 实在RPA研究
SHIZAIZHINENG的博客
08-06 658
随着数字化转型的加速，企业正寻求更高效、智能的方法来优化业务流程。机器人流程自动化（RPA）作为一种快速兴起的技术，已经证明了其在自动化重复性任务方面的能力。然而，当RPA与各种人工智能（AI）技术相结合时，其潜力将得到更全面的释放。本文将探讨不同的AI技术如何与RPA结合，以及这种结合为企业带来的变革性应用方向。机器学习 (ML)使系统能够从数据中学习和改进提高预测准确性，自动化决策制定风险管理、欺诈检测、个性化推荐银行使用ML增强RPA进行信用评分和欺诈识别计算机视觉 (CV)
Python面试题：结合Python技术，如何使用PyTorch进行动态计算图构建
码农超哥的博客
08-06 441
PyTorch 是一个流行的深度学习框架，它通过动态计算图（Dynamic Computation Graphs）来支持自动微分（Autograd）。动态计算图的特点是每次前向传播时都会构建新的计算图，这使得它非常灵活，适合处理可变长度的输入和复杂的模型结构。以下是如何使用 PyTorch 构建动态计算图的步骤和示例：导入必要的库：定义模型：创建输入数据：前向传播：反向传播：更新参数：以下是一个简单的线性回归示例，演示了如何使用动态计算图： 关键点解析 动态计算图：在 方法中，每次调用都会构建新的计算
推荐30个以上比较好的nlp意图识别github源码地址？
02-06
您好，以下是 30 个比较好的 NLP 意图识别 GitHub 源码地址： 1. https://github.com/huggingface/transformers 2. https://github.com/google-research/bert 3. https://github.com/allenai/allennlp 4. https://github.com/tensorflow/tensor2tensor 5. https://github.com/tensorflow/models/tree/master/official/nlp 6. https://github.com/salesforce/davinci 7. https://github.com/tensorflow/tfds/tree/master/tfds/structures/slices 8. https://github.com/neuralmind-ai/language-modeling 9. https://github.com/openai/gpt-3 10. https://github.com/openai/language-model-zoo 11. https://github.com/huggingface/nlp 12. https://github.com/huggingface/transfer-learning-conv-ai 13. https://github.com/google-research/language 14. https://github.com/clovaai/kogpt2 15. https://github.com/cyberzhg/keras-bert 16. https://github.com/kyzhouhzau/BERT-NER 17. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/micro/examples/nlp 18. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/micro/examples/nlp/intent_classification 19. https://github.com/huggingface/nlp-tfds 20. https://github.com/tensorflow/tfjs-models/tree/master/nlp 21. https://github.com/tensorflow/models/tree/master/experimental/nlp 22. https://github.com/tensorflow/minigo/tree/master/nlp 23. https://github.com/tensorflow/tfjs-examples/tree/master/nlp 24. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/python/ops/nlp 25. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/python/ops/nlp_ops 26. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/python/ops/nlp_ops/lib 27. https://github.com/tensorflow/tfjs/tree/master/tfjs-core/src/ops/nlp 28. https://github.com/tensorflow/tfjs/tree/master/tfjs-core/src/ops/nlp_ops 29. https://github.com/tensorflow/tfjs/tree/master/tfjs-core/src/ops/nlp_utils 30. https://github.com/tensorflow/tfjs/tree/master/tfjs-examples/nlp 希望这些地
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值