1 设计
全平台技术架构共有三个模块,即:后台、人工智能和大数据。
后台:业务层(业务中台),如OA、ERP等;
人工智能:智能服务层,如推荐系统、人脸识别等;
大数据:基础数据层(数仓、数据中台)。
中台:是啥?待详细追踪溯源。
1.1 服务层
服务层技术:使用Spring技术架构,包括SpringFramework、SpringCloud和SpringBoot。
1.2 业务数据存储层
业务数据读写采用MySQL和Redis。
1.3 消息队列层
消息缓冲层使用RabbitMQ。
1.4 日志采集监控层
日志采集和监控使用:Filebeat、Logstash、Elasticsearch、Kibana和Kafka。
1.5 机器学习层
机器学习使用多平台,包括:Tensorflow1.x和Tensorflow2.x、MXNet、Pytorch和Caffe2等。
1.6 实时计算层
实时计算使用:Spark和Flink。
1.7 调度层
任务调度使用Azkaban和Ooize。
1.8 数据采集与传输层
数据传输和采集使用:Sqoop和Flume。