数据分析的几大黄金法则

       大数据时代的到来使人类的认识变得更精确系统、更全面广泛、更快速有效。然而面对各种数据源收集来的海量数据，究竟如何对其进行归类、计算、建模和解释，却需要高超的智慧。因数据本身始终沉默，需要依赖认识主体的赋予。

 

　　为什么你的数据分析成果总是难以落地？数据分析的价值总是远远低于预期？相信看完这篇文章，每个人都能找到一个属于自己的答案。本人先后在电力、军工、金融等行业担任数据分析师，有多年行业经验。从平时的工作中总结出以下六个数据分析时要注意的原则，希望能对大家有所帮助。

 

　　1、遵循数据分析标准流程

 

　　数据分析遵循一定的流程，不仅可以保证数据分析每一个阶段的工作内容有章可循，而且还可以让分析最终的结果更加准确，更加有说服力。一般情况下，数据分析分为以下几个步骤：

 

　　1)业务理解，确定目标、明确分析需求；

 

　　2)数据理解，收集原始数据、描述数据、探索数据、检验数据质量；

 

　　3)数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据；

 

　　4)建立模型，选择建模技术、参数调优、生成测试计划、构建模型；

 

　　5)评估模型，对模型进行较为全面的评价，评价结果、重审过程；

 

　　6)成果部署，分析结果应用。

 

　　2、明确数据分析目标

 

　　在数据分析前期，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。这样才能保证后续的收集数据、确定分析主题、分析数据、分析结果应用等工作都能够围绕分析目标开展，保证最终能够从整体目标的角度去总结分析成果。

 

　　3、业务与数据结合确定分析主题

 

　　以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。另外，分析数据的范围除了重点关注的业务指标数据，还要尽量考虑扩展外延数据，比如经济指标数据、气象数据、财务数据等。确定分析主题之前，要进行数据支撑情况的初步判断，避免中途发现数据质量或者数据范围不能支撑分析工作的情况发生。确定分析主题之后，详细论证分析可行性，保证分析过程的清晰性，才能开始分析工作。

 

　　4、多种分析方法结合

 

　　分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析；融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法；高级分析和可视化分析相结合等。

 

　　5、选择合适的分析工具

 

　　工欲善其事，必先利其器，数据分析过程中要选择合适的分析工具做分析。SPSS、SAS、Alteryx、美林Tempo、RapidMiner、R、Python等这几种工具都是业界比较认可的数据分析产品。它们各有其优势，SPSS较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。SAS由于其功能强大而且可以编程，很受高级用户的欢迎。Alteryx工作流打包成应用，为小企业直接提供应用，地理数据分析功能强大。美林数据的Tempo大数据分析平台功能全面，在高级分析和可视化分析相结合上具有明显优势。RapidMiner易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便，跟MATLAB很像。

 

　　6、分析结论尽量图表化

 

　　经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。第三尽量图表化，要增强其可读性。

 

　　数据分析过程中，除了以上六条原则，还要避免以下3种情况：

 

　　1）时间安排不合理

 

　　在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。（数据的收集、整理和建模的过程，是反复迭代的过程）

 

　　2）数据源选择不合理

 

　　一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。

 

　　3）沟通不充分

 

　　无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通效不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。