探索性的数据分析是一种态度,是一种灵活性,是一种去寻找那些我们认为不存在的事物以及我们相信存在的事物的意愿。— John W Tukey
在数据科学领域,数据可视化的重要性和必要性并没有得到足够的重视。 一张图片胜过千言万语,这句话适用于任何与数据相关的项目的生命周期中。 然而很多时候,实现这些可视化的工具往往不够智能。 事实上这意味着,尽管我们有数以百计的可视化库,但其中绝大多数都要求用户自己编写大量代码才能绘制简单图形。 这会让人们的关注焦点转移到可视化的内部机制上,而不是真正重要的东西:数据内的关系上。
如果说现在有一种工具可以通过向用户推荐相关的可视化建议来简化数据探索的过程呢?一个名为Lux💡的新库横空出世,它正是为解决这些问题而开发的。
当前高效数据探索面临的挑战
如今,数据分析师可以使用多种工具进行数据探索。 尽管交互式Jupyter笔记本允许人们在其之上迭代实验,还有一些强大的BI工具,如Power BI和Tableau,让普通人仅需单击遍可实现高级别的数据探索,可即便有这些功能强大的工具问世,阻碍数据探索流程的挑战仍然存在。 当我们从在脑中分析问题转向在实际探寻可行的解决方案时尤其如此。 让我们看一下数据分析师当前面临的三个主要的、可识别的障碍:
代码与交互工具之间的脱节
虽然需要编程的工具提供了灵活性,但是编程经验较少的人通常不会使用它们。 另一方面,虽然点击交互的工具易于使用,但它们的灵活性有限且难以自定义。
绘图需要大量代码和先决条件
其次,需要创建可视化时,我们首先需要考虑的是所有的规格应当如何被可视化。 之后我们需要将这些规格的细节信息转换为代码。 上图显示了在两个流行的python库(Matplotlib和Plotly)中,仅仅是为了输出一个柱状图就需要大量的的代码。 这种情况同样会影响数据浏览,尤其是当用户对所要查找的内容只有模糊的概念时。
试错是一个即繁琐又令人窒息的过程
每次EDA(Exploratory data analysis)都需要不断的反复试验。 用户必须先试验多种可视化效果,然后才能确定最终的可视化效果。 分析人员有可能会因此错过数据集中的关键信息。 另一个常见的问题是分析人员可能并不知道应该对数据执行哪些操作才能获得所需的关键信息,并且他们往往会迷失方向,无法分析出有效的结论。
在人们分析和思考他们的数据与实际如何处理数据才能获得有价值的信息之间存在明显的鸿沟。 Lux正是解决这