避免五大误区丨新手数据科学家进阶之路

作者 Jan Zawadzki
编译 Mika
本文为 CDA 数据分析师原创作品，转载需授权

你为成为数据科学家做了充分的准备，但实际的工作将于你的预期大不相同。

你为成为数据科学家做好了充分的准备。你参加Kaggle比赛，看了大量的Coursera课程。你感觉已经准备好了，但数据科学家的实际工作将与你的预期大不相同。

本文探讨了数据科学家新手的5个常见错误。这是由我在Sébastien Foucaud博士的帮助下一起总结的，他在学术界和行业领域有指导年轻数据科学家有超过20年的经验。本文旨在帮助你更好地为数据科学家的实际工作做好准备。

误区1 热衷参加Kaggle比赛

你通过参与Kaggle比赛练习了数据科学技能。如果你掌握决策树和神经网络那就再好不过了。但其实作为数据科学家，你不需要完成这么多的模型融合。记住，一般来说你将花80％的时间进行数据预处理，剩下20％的时间用于构建模型。

参加Kaggle比赛的好处在于，给出的数据都很从而你有更多的时间调整模型。但是在实际工作中则很少出现这种情况，你需要使用不同的格式和命名方式来汇总不同来源的数据。

你需要做的是，熟练掌握你大部分时间将要做的事，即数据预处理。例如抓取图像或从API收集图像；从Genius收集歌词数据等。为解决特定问题准备所需的数据，然后将其输入到计算机中开始机器学习生命周期。精通数据预处理无疑将大大帮助你成为一名出色的数据科学家，从而让你在公司制定决策中起到关键作用。

误区2 神经网络能搞定一切

深度学习模型在计算机视觉和自然语言处理领域优于其他机器学习模型。但也有明显的缺点。

神经网络需要大量数据。如果样本较少，那么使用决策树或逻辑回归模型效果会更好。众所周知，神经网络难以说明和解释，因此被称为”黑匣子“。当产品负责人或主管对模型输出产生质疑时，你必须进行解释，而传统的模型更容易解释。

有很多出色的统计学习模型，你需要了解其优缺点，并根据具体任务应该相关模型。除非是用于计算机视觉或自然语音识别等专业领域，否则传统的机器学习算法的成功率会更高。你很快就会发现，像逻辑回归等简单的模型是最好的模型。

来源：来自scikit-learn.org的算法表。

误区3 机器学习是产品

在过去十年机器学习大受吹捧，许多创业公司都认为机器学习能解决任何存在的问题。

来源：过去5年的机器学习的谷歌指数趋势

机器学习永远不应该是产品。机器学习是强大的工具，用于生产满足客户需求的产品的。机器学习可以用于让客户收到精准的商品推荐；准确识别图像中的对象；帮助企业向用户展示有价值的广告。

作为数据科学家，你必须以客户为目标制定计划，从而你才能充分利用机器学习。

误区4 混淆因果关系和相关性

大约90％的数据是在过去几年中产生的。随着大数据的出现，机器学习从业者可以获得大量数据。由于有大量的数据需要分析评估，学习模型也更容易发现随机的相关性。

来源： http://www.tylervigen.com/spurious-correlations

上图显示了美国小姐的年龄与蒸汽、热蒸汽和发热物体导致的谋杀总数。根据这些数据，算法会学习美国小姐的年龄与某些物体导致谋杀的模式。然而，这些数据点实际上是无关的，并且这两个变量对其他变量没有任何预测作用。

当在数据中发现模式时，要应用你的专业知识。当中是相关性还是因果关系？回答这些问题是从数据中得出分析见解的关键。

误区5 优化错误的指标

开发机器学习模型遵循敏捷的生命周期。首先，你定义概念和关键指标。然后，将结果原型化。接着，不断进行改进直到指标令你满意。

在你构建机器学习模型时，记得要进行手动错误分析。虽然这个过程繁琐且费时费力，但可以帮助你在迭代中有效地改进模型。

结语

年轻的数据科学家能为公司提供巨大价值。他们通常是自学成才，因为很少有大学提供数据科学学位。同时他们具有强烈的好奇心，并且对自己选择的领域充满热情，并渴望了解更多的知识。因此对于刚入行的数据科学家来说，一定要注意以上提到的误区。

注意以下几点：
· 练习数据管理
· 研究不同模型的优缺点
· 让模型尽可能简单
· 检查结论中的因果性和相关性
· 优化最有希望的指标

更多精品内容，可到CDA数据分析师官网或CDA经管之家(原人大经济论坛)查阅