机器学习应用系统设计 第四章

4.机器学习系统的开发

机器学习系统的构成以及训练数据的日志信息收集方法

4.2系统设计

4.2.1 混淆概念

监督学习系统：批量处理+批量学习

常见处理方式和学习的组合

1.采取批量处理方式进行批次学习

2.采取批量处理方式进行逐次学习

3.采取实时处理方式进行批次学习

4.采取实时处理方式进行逐次学习

机器学习系统（基于批量处理方式）

1.采用批量处理方式的学习+通过Web应用直接计算预测结果（实时处理预测）

2.采用批量处理方式的学习+通过API利用预测结果（实时处理预测）

3.采用批量处理方式的学习+通过数据库利用预测结果（批量处理预测）

4.采用实时处理方式的学习

组成模式	特点	适合
1	1.预测需要实时处理 2.Web应用于进行机器学习的批量处理系统使用同一语言	构成相对简单，适合小规模系统的开发实现
2	1.Web应用和机器学习所使用的的编程语言可以不同 2.对Web应用侧的事件可以以实时处理方式进行预测	与Web应用保持松耦合关系，如果对于具有不同学习算法或特征的多个模型进行A/B测试
3	1.预测需要的信息在执行预测批量处理时存在 2.以事件（例如，用户访问网站）为触发器，不需要时刻返回预测结果

 

4.3日志设计

4.3.1 可用作特征或训练数据的信息

1.用户信息

2.内容信息

3.用户操作日志

4.3.2日志存储

1.存储于分布式RDBMS

2.存储于分布式处理基础架构Hadoop聚类器的HDFS

3.存储于对象存储

4.3.3日志设计的注意事项

1.少选一些指标

2.已经收集的日志是否能够可以用做训练数据

3.日志形式的变化