AI系统构建流程1
要构建一个AI系统或产品,你要处理好5个核心环节,我们通常称之为“机器学习工作流”。
这些步骤分别是:
- 数据收集与分析
- 数据准备
- 模型构建
- 模型验证与测试
- 模型部署
1.分析你的数据,提前回答一些策略性的问题
以下是一些常用方法:
- 检查异常值;
- 寻找数值关系和点相关性;
- 评估缺失值的数量。
2. 数据准备
如果原始数据存在干扰,不能用来训练学习算法。这时,你就需要进行数据清理和数据准备,常用方法包括:
- 合并表格;
- 提取新特征;
- 处理上步中确定的缺失值和异常值等;
- 清洁数据,并根据情况进行标准化。
3. 模型构建
这是最快完成的一部分,你可以多尝试一些算法,谁也不知道哪个算法的效果最好。大多数机器学习模型只需要几行代码就能实现。你可以:
- 根据当前的数据特性来选择一系列算法;
- 尝试不同超参数的效果或是运行自动参数调优。
4. 模型验证与测试
这包括两部分:
- 首先,你显然需要验证当前模型的输出是否满足实际要求。该如何验证模型取决于当前使用的机器学习方法,是有监督、无监督还是强化学习。在这个过程中,你要平衡好灵敏度和特异度,精确度和召回率,或是某种聚类有效性等指标间的关系。
- 其次,现有的统计数据不足以验证这个模型是否满足要求,你就要去验证下用户输出,比如说用你自己做个实验,看看你作为用户里能否靠产品的输出来进行操作,会不会想进行操作?