机器学习之推理

1、模型转换工具，用来将caffe/tensorflow模型转到不同AI芯片规定格式的模型，以达到在AI芯片加速推理的目的。转换后模型的性能取决于原模型本身和参考图片（需要量化时），转换工具无法保证转换后模型性能，需要进一步进行性能评估，来决定该模型是否可以正常使用。

2、推理工具，用来在不同AI芯片对模型进行推理，并将推理结果保存，后面可以使用推理结果进行性能评估。

3、不同模型量化时采用不同的参考图片，会导致通用性很差，最好做一个通用性的测试。

经过训练的神经网络可以将其所学到的知识应用于数字世界的任务——识别图像等各种各样的应用。神经网络可以基于其所训练的内容对其所获得的新数据进行推理。

推理并不需要其训练方案的所有基础设施就能做得很好。