大数据模型部署思路

提出问题:
以神经网络为例,MATLAB可以用训练集来训练数据,随后用测试集来检测模型准确度,最后用该模型来决策新数据.
在大数据平台下如何训练数据呢?又如何用训练好的模型对新数据进行决策呢?

方法1,spark自带机器学习库mlib,用原生机器学习库来读取训练集以及测试集来进行模型构建,然后对输入的新数据进行决策.
注意:1)训练集和测试集是历史数据,是带标签的数据(以分类为例,就是已经分好类的数据),并且训练集和测试集应该是来自hive或者hbase,底层依赖hdfs存储.2)新数据应该是网络数据,经flume,kafka流进来的实时数据.3)以朴素贝叶斯为例,训练数据用BuildNaiveBayesClassifier类来完成,而对新数据分类则用NaiveBayesClassifier类来完成,由此可见建模和预测有两个不同的入口.4)当然也可以用代码来控制,如果模型没有建立完全,新数据不予处理.

方法2,一般公司的做法是用原生的机器学习框架去训练模型,拿到该模型的参数之后再去用代码实现该模型,中间可以设置配置文件来写活代码.以神经网络为例,原生的机器学习框架(比如TensorFlow,caffe,mlib)训练带标签的历史数据,将该模型的拓扑结构,即分几层每层有几个神经元,权重等写入配置文件.随后用代码实现该模型,读取配置文件中的数据以参数形式作为输入,用来构建模型,该模型只接受新数据.