（一）xxx项目需求分析与功能设计概要

通过过去对项目开发，决定对项目对开发进行一个回顾，从开始对项目需求、项目设计、项目开发、项目测试、项目上线、功能迭代、环境部署等多个环节进行一次巩固，模拟一下，自己负责一个项目，从0到1对一个真实过程，其中的要求以准商业项目标准开发来实行，为以后的晋级做一下准备。总共预计通过20到40篇文章进行总结和归纳，其中涉及到很多开源项目的使用，以及自己对独立功能模块代码的封装。

一、项目需求

1、通过对特定大型网站对数据抓取和分析，产生有用的有价值的信息，为其他企业和公司提供决策和支持，这里主要以GitHub仓库数据监控和分析为例，主要对GitHub上知名和使用用户比较多的项目进行缺陷监控，实时抓取相关项目的信息，进行分析，给使用开源项目的公司提供漏洞分析报告和bug漏洞预警，帮助企业避免自己的业务系统受到干扰和攻击，造成重大的损失。

2、对GitHub上抓取对热门项目对bug漏洞信息，进行人工流程分析，最后生成漏洞报告，推送给相关对企业和订阅用户。

3、根据处理流程按照不同用户对职责和功能，设计一套公司内部使用的系统，把数据进行分析和对比，抽取有价值的信息，为公司提供商业决策价值。

4、同时建造自己对数据仓库，提供外网门户网站和搜索引擎，给其他用户提供bug漏洞信息查询入口。

5、项目主要分为两大块，外网访问的系统，内网访问的系统；同时，每个大块分为若干个子系统，文章后面部分会对每个子系统进行比较详细的展开分析和说明，根据内网和外网进行划分其简要的功能模块图如下所示：