深度学习平台之技术栈

技术点：
数据分布式存储，ib网络，分布式存储，存储数据管理
任务分布式调度
ib网络，多机多卡，万兆网络
mongodb数据库
docker隔离，训练框架caffe
数据分析，自动化测试报告多维度分析
海量数据量：几个T，几百万的小文件数，数据挖掘
深度学习训练框架增强，多机，多卡，单机多卡，网络聚合
不同训练框架的兼容和转换
新技术：docker容器，k8s容器，nginx反向代理，mongodb数据库，mysql数据库，caffe/pytorch,redis，django+uwsgi，（haddop，spark，gpfs）

产品：每一个场景都需要定制，数据量，时效性
市场：用户场景复杂，用户数据无法获取，需要对应场景定制，新兴市场
人才：工程人才+算法人才，工程+大数据分布式计算人才，容器云人才

性能指标和挑战：
技术：
1）分布式存储：高性能1PB，低性能 文件数/秒, 大文件带宽数/秒
2）数据管理平台QPS，标注平台，训练平台，自动化测试平台，（cpu，网络，磁盘io）
3）服务器数目500台
4）服务器运维监控，500台服务器，QPS: