《SDCC 2017 人工智能技术实战线上峰会》学习
机器学习平台概况
Google CloudML:Overview
Google CloudML Training
Machine Learning Platform
架构设计 分布式架构
分布式系统
分布式管理系统:
- High availability 高可用:
- DNS、Vip+Keepalived、Vip+Placemaker
- Master-slave architecture
- Horizontal-scale workers architecture
隔离: Distributed:Isolation
Docker
docker run -it tensorflow/tensorflow bash
Distributed:Orchestration
Distributed Systems ( for ML )
多租户 权限模型
用户验证:
- 用户名密码
- JWT(docker账号密码)
- AKSK(AWS账号)
- LDAP(gitlab,jenkins)
权限系统:
RBAC
Permission
Role
User
Group
设计机器学习平台开发
- Log everything
- Separate metering and billing
- Hard and soft quota
平台架构示例: