数据分析之我见

从事数据分析工作5年，分享一些自己的心得体会。

工作技能

1、负责数据治理平台的搭建和管理；
2、掌数据库知识，熟练使用数据库语言，如：Oracle、MySQL、MongoDB等；
3、熟悉常用的数据分析和BI工具，如Finereport，Tableau等；
4、熟练掌握多种统计和数据挖掘方法，熟练使用Python、R、SPSS等分析工具；
熟悉聚类、KNN、朴素贝叶斯和神经网络等基本的机器学习算法；
精通常用数据挖掘算法（如分类、回归、聚类、关联规则等）及其原理，对机器学习、深度学习有深入了解；
5、熟悉主数据、元数据、数据质量、数据资产和数据建模等数据治理相关的体系和方法；
6、了解常用分布式计算和存储框架Hadoop/HDFS/Hive/Spark等。

工作总结

在实际工作过程中，更侧重熟悉公司的业务，基于了解业务的基础上，进行数据分析。数据分析工具采用了帆软公司的 Finereport。

1、BI数据平台系统的优化与完善：

 合同、开票、收费年度总览表
 项目成本分析表
 可申请产值公示表
 报销统计表
 项目地图统计表
 本月上月对比变化表
 客户情况表
 月度报告
 经营驾驶舱

2、BI移动端的设计与实现：

模型设计、实现移动端
 主题分析、
 销售统计、
 合同分析、
 可疑分析、
 成本统计
等内容，并与企业微信联动。

3、数据处理相关：

主要对合同审检，发现僵尸合同、数据异常合同，与财务、经营部确认，并更新状态，部分合同补开票流程。对空数据进行处理、杂质数据进行纠错。

未来规划

1、对公司经营类数据的分析和管理

数据展示平台（简称BI）系统，对数以万计的数据，进行底层数据库的协同管理和同步报表的不断更新。其数据全部来自于OA系统，而且报表也从属于OA的功能。目的是使企业各级决策者获得知识并提到洞察力，做出对企业更有力的决策。

从各个维度为生产经营管理人员提供的管理数据透视图表，方便了管理人员对生产经营工作的整体把握。也为经营人员日常合同开票收费业务提供了全面而可靠的依据。

比方说业务上发生了变化，流量下降20%，那么我们就要分析可能的原因，需要多方数据去验证假设。又或者对一份数据，思考可以分析的规律点。无论哪种情况，一个完整的数据分析都需要经历数据获取、数据预处理、数据分析与建模、可视化分析及报告撰写的过程。

2、聚焦数据不准确的痛点，不断分析问题的原因，寻找解决办法

目前存在原因如下：
1）、报表SQL技术问题，就在技术上下手，
2）、报表口径问题，就在统一报表统计口径上下手，协调相关人员统一数据口径，
3）、历史数据问题，联系OA系统人员和业务部门等，处理掉错漏数据等等。

3、运用先进技术，提高数据查询效率、BI系统安全

1）、研究kettle方案，基于kettle的数据处理技术。
2）、报表echarts集成方案。
3）、研究python方案。

4、优化展现内容，通过经营部、经营人员 多种方式了解业务知识，了解需求

1）、与经营人员 沟通了解了对各方面、各个维度统计的需求
2）、目前侧重于明细报表的查询，在驾驶舱类报表方面还有需求
3）、美化展现形式和效果，在内容详实的基础上做好展现美观，改善使用效果，操作简便，人性化。

工作内容：

 增加BI首页背景，增加按钮鼠标点击效果
 新增报销发票查询表格 根据发票单号查询报销单号
 经营报表增加图表展示，新增部门联动效果
 新增项目分析报表，包括项目成本分析（包括项目分包付费统计、报销分析）
 新增合同、开票、收费年度总览表
 新增系统应收统计，与财务帐对比分析表
 对两个月数据分析的存储过程进行调整，便于全自动执行分析。
 研究如何通过两个月对比数据对新增回款，新增销售额变动的分析方案。
 新增存储过程，记录本月和上月的历史数据。
 新增本月上月对比变化表。
 新增pc端地图项目地区分析。
 Axure设计BI移动端模型
 研究BI与移动端集成方案
 解决移动端文件夹目录无法加载的问题
 设计合同信息列表并链接合同明细和分包明细
 测试移动端合同信息列表，并修复生效日期排序问题 、合同编号链接至子表合同明细问题。
 新增移动端同比环比销售统计表。
 设计bi移动端驾驶舱
 增加合同类型分析的存储过程
 增加移动端销售分析和未完成合同分析表格
 新增未完成合同明细子表，并建立超链接
 新增项目（地区）分析图表
 新增本月新增合同列表
 新增移动端可疑合同分析
 新增重复合同
 新增超开合同
 新增可疑线下开票合同
 新增消耗分析，包括本月及本年的报销、采购统计
 新增存储过程，对比本月和上月的销售、回款数据。
 新增移动端消耗分析图表。
等等。