需求分析、概要设计、详细设计的区别

1.需求分析--产生   软件功能规格说明书,需要确定用户对软件的需求,要作到明确、无歧义。不涉及具体实现方法。用户能看得明白,开发人员也可据此进行下面的工作(概要设计)   
    
  2.概要设计--产生   软件概要设计说明书,说明系统模块划分、选择的技术路线等,整体说明软件的实现思路。并且需要指出关键技术难点等。   
    
  3.详细设计--产生   软件详细设计说明书,对概要设计的进一步细化,一般由各部分的担当人员依据概要设计分别完成,然后在集成,是具体的实现细节。理论上要求可以照此编码。 
根据提供的引用内容,spark数据清洗需求分析概要设计详细设计可以按照以下步骤进行: 概要设计: 1. 确定数据清洗的目标和需求:明确需要清洗的数据类型、清洗的规则和逻辑。 2. 确定数据清洗的流程:确定数据清洗的步骤和顺序,包括数据的读取、清洗规则的应用和数据的输出。 3. 设计数据清洗的架构:选择合适的spark组件和工具,如Spark SQL、DataFrame、RDD等,来实现数据清洗的流程。 4. 定义数据清洗的输入和输出:确定数据清洗的输入数据源和输出结果的存储方式,如HDFS、数据库等。 5. 编写数据清洗的代码:根据需求和流程设计,使用spark提供的API和函数,编写数据清洗的代码。 详细设计: 1. 数据读取:根据数据清洗的输入数据源,使用spark提供的API读取数据,如使用Spark SQL读取数据库表、使用DataFrame读取CSV文件等。 2. 数据清洗规则的应用:根据需求中定义的清洗规则和逻辑,使用spark提供的函数和表达式,对数据进行清洗和转换,如过滤、去重、替换、格式化等。 3. 数据处理和转换:根据需求中定义的数据处理和转换逻辑,使用spark提供的函数和操作,对数据进行处理和转换,如聚合、拆分、合并等。 4. 数据输出:根据需求中定义的输出结果的存储方式,使用spark提供的API将清洗后的数据保存到指定的存储介质,如HDFS、数据库等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值