大数据学习总结

一、(机器学习/深度学习)开发流程：

1.问题：
分析问题，选择算法
2.算法选择：
y = ax + bx + c

3.训练和测试
trainingData 求（权重，便宜量）：a,b,c
testData 测试求得算法能否解决问题

一般来说测试集和数据集都是给好的。

4.应用算法->分析数据->提取有价值数据

5.结果表示

机器学习一般需要好几个算法解决一个问题。
深度学习一般一个算法就能搞定。

模型保存
model.save(’./keras_mnist.h5’)

二、大数据程序员编码主要职责：

1.根据业务先择Model（模型）
一般选用ImageNet大赛中表现优异的模型
2.训练模型（如果，训练数据不够好，还有可能追加训练数据）
3.利用损失函数（loss function）评估模型的预测值f(x)与真实值Y的不一致程度
4.如果损失函数过高需要调整参数和优化模型
5.如果实时性或者内存要求的，还要提高检测时间或者精简模型，减少内存占用