数据分析团队管理日常 - 数据分析项目的技术架构选择和成本预测

编程小白的逆袭日记

已于 2023-12-08 22:33:12 修改

阅读量753

点赞数

分类专栏：数据分析团队管理日常大数据分析文章标签：大数据 spring java bi python

于 2020-04-27 22:34:22 首次发布

本文链接：https://blog.csdn.net/deecheanW/article/details/105790428

版权

6 篇文章 1 订阅

订阅专栏

1 篇文章 0 订阅

订阅专栏

首先，描述一下该数据分析项目的需求。该项目通过对历史数据的分析，建模，从而对预测未来的趋势。

需要分析历史数据，必然需要从各个不同数据源获取不同的数据，并且整理成期望的格式。
需要对数据建模，分析，则必然是有许多参数需要记录和调整。
预测模型和预测算法经常会需要做一些局部的调整来适应业务的变化。
数据分析专家，会经常需要改动预测参数和预测算法来调整预测结果，且数据分析专家不会任何编程语言和数据库技术，比如Python和SQL之类，这是一个既成现实的限定条件。
预测结果需要通过一个简单易操作的平台来输出，使用这些数据的用户都基本都缺乏数据操作的技能，比如Excel， SQL等，跟不具备Python之类的编程能力。
项目实施工期短，需要在较短时间之内能够上线引用。

根据以上需求，项目的实施方案是采取MySQL+Python + Java（web）+ Tableau 组合的方式。

数据库：Ubuntu上MySQL数据库，根据用户需求分析，日常数据处理量大约是在百万条数据记录，以上组合可以满足该需求。
Python实现数据算法建模 ：使用Python来做数据处理，运算是非常有优势的。首先，就是Python编写代码的速度非常快，因为算法会经常要变动，使用Python可以快速的响应用户的需求，调整算法以适应业务需求。其次，Python代码的易读性是非常好的，天长日久之后对算法进行维护，也会比较容易。
Java（web）实现参数修改保存界面：由于数据分析专家时常需要修改预测参数来调整预测结果，然而数据分析专家又缺乏数据库知识和编程能力，因此必须提供一个直观的界面以方便他们修改预测参数，并查看预测结果。
Tableau在线电子报告输出预测结果：公司内部各业务部门都需要查看该系统的输出结果，Tableau的在线报告是一个不错的选择，对于缺乏数据库和EXCEL技能的用户，可以方便的查看数据。选择Tableau，也是应该公司已经投资了Tableau Server，无需额外投资就可以把报告在线发布到服务器上，而所有用户都可以在线的访问该电子报表。但Tableau的license非常昂贵，如果预算不足可以选择微软的Power BI。

项目部署示意图如下
在这里插入图片描述

项目资源配置包括硬件配置，软件配置和开发人员配置。

服务器需软件包括Ubuntu， MySQL， JDK等免费软件。
Tableau Server是现成的，不额外花钱。
开发软件最主要的花费是Tableau Desktop， 2000刀一个注册码一年的使用权，可以装两台电脑。其他开发软件，如Github， Jekins等都是免费开源软件，无需额外投资。
项目管理软件使用Jira + Conference，公司已有企业级的服务器可以给各研发团队共享，每月仅需支付少量维护费用。根据我团队的规模，大约每月费用1500元。

开发人员配置
１. 项目经理一名兼需求人员 x 0.5 （成本：20000 / 月）
主要职责：项目进度管理，项目预算管理，用户需求确认，用户界面设计（html demo），Tableau 开发

测试人员兼配置管理员 x 0.5 （成本：15000 / 月）
主要职责：测试案例设计，测试资源调度，测试进度安排，测试执行，Jekins配置管理，Github branch管理，生产环节发布管理
Java / Web 开发人员 x 0.5 （成本：15000 /月）
主要职责：数据库设计，开发，基于Springboot+React的web application开发。
Python 开发人员 x 0.5（成本：15000 / 月）
主要职责：数据库设计，开发，使用Python实现模型算法和数据处理。
测试执行人员 1 - 2人（成本：5000 / 月）
主要职责：在项目开发进度比较紧张的阶段，可以协助执行测试案列，最好可以按需配置，或和其他项目共享开发资源。

如果Java/Web开发人员可以同时做Python是最理想的方案了。整体人员开支在８0万人民币每年。

关注