顶层需求生成底层需求

---

一、背景技术

大模型驱动的基于顶层需求生成底层需求的思维导图构建结合了自然语言处理技术和人工智能的先进能力，特别是预训练的大型语言模型来理解和转化文本需求。这些模型通过分析顶层需求的语言模式，自动生成具体的底层需求描述。然后，应用数据可视化技术将这些需求以思维导图的形式展现出来，有效地描绘出需求之间的层级关系和联系。这一过程不仅提高了需求分析的效率和准确性，也加强了信息的可视化表示，使得复杂的需求结构更易于理解和沟通。

二、构建方法

1. 处理顶层需求

我们可以采用自然语言处理（NLP）技术来分析和提取顶层需求文档中的关键信息。

（1）预处理文档

预处理是将文档转换为模型可以处理的格式的过程。这包括去除停用词（如“的”，“和”等常见但无关紧要的词），分词（将句子拆分为单独的词语或短语），以及将词语转换为小写。

其中，Natural Language Toolkit，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。NLTK也是一个开源的项目，包含：Python模块，数据集和教程，用于NLP的研究和开发。

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
	
# 示例文档
document = "Developing a student finance software for university colleges."
# 分词
words = word_tokenize(document)
# 去除停用词并转换为小写
filtered_words = [word.lower() for word in words if word not in stopwords.words('english')]

（2）特征提取

接下来，需要从预处理后的文本中提取特征，这可以使用TF-IDF（词频-逆文档频率）或Word2Vec等方法。其中，TF-IDF可以衡量一个词对于一个文档集或一个语料库中的其中一份文档的重要性。

from sklearn.feature_extraction.text import TfidfVectorizer

# 将文档集合为一个列表，每个文档是一个字符串
documents = [filtered_words]  # 这应是预处理后的多个文档的集合
tfidf_vectorizer = TfidfVectorizer()
tfidf_matrix = tfidf_vectorizer.fit_transform([' '.join(doc) for doc in documents])

（3）关键词和主题识别

基于特征提取的结果，可以进一步分析文档，识别关键词和主题。这有助于理解顶层需求的核心内容。可以利用LDA（Latent Dirichlet Allocation）模型进行主题建模。
其中，LDA主题模型是一种文档生成模型，是一种非监督机器学习技术。它认为一篇文档是有多个主题的，而每个主题又对应着不同的词。一篇文档的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文档的第一个词。不断重复这个过程，就生成了整篇文章。

from sklearn.decomposition import LatentDirichletAllocation
	
# 使用LDA模型识别主题
lda = LatentDirichletAllocation(n_components=5)  # 假设我们想要识别5个主题
lda.fit(tfidf_matrix)

# 获取每个主题的最重要的词
feature_names = tfidf_vectorizer.get_feature_names_out()
for topic_idx, topic in enumerate(lda.components_):
print(f"Topic #{topic_idx}:")
print(" ".join([feature_names[i] for i in topic.argsort()[:-10 - 1:-1]]))

这个过程通过分析顶层需求文档的文本内容，使用NLP技术来自动化地识别和理解顶层需求。这可以作为后续分解和细化需求的基础，提高需求管理的效率和准确性。

2. 生成底层需求

下一步是使用大模型辅助需求分解和细化。在这一步中，我们可以利用Hugging Face的Transformers库来使用一个预训练的文本到文本生成模型（如T5或BART），将顶层需求自动分解为更具体的底层需求。

（1）选择合适的模型

假设我们选择使用T5模型，T5是由Google开发的一个模型，被设计用于执行多种文本到文本的任务，如翻译、摘要、问答和需求生成等。

（2）加载模型和分词器

from transformers import T5ForConditionalGeneration, T5Tokenizer

model_name = "t5-small"  # 或者选择其他版本，如"t5-base"、"t5-large"
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

（3）准备输入数据并生成底层需求

将顶层需求以适当的格式输入模型。T5模型需要一个特定格式的输入，通常以"任务: 输入文本"的形式。对于需求分解，输入可以是"summarize: 顶层需求描述"。

top_level_requirement = "Develop a cloud-based student finance software for university colleges that can handle invoicing, account management, and report generation."

# 为T5模型准备输入
input_text = f"translate English to French: {top_level_requirement}"
input_ids = tokenizer.encode(input_text, return_tensors="pt")

# 使用模型生成底层需求
output = model.generate(input_ids, max_length=512, num_beams=5, early_stopping=True)

# 解码并打印输出
decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
print(decoded_output)

3. 生成思维导图

最后，将已经生成的底层需求制作成思维导图，可以借助Python中的Graphviz库来实现。其中，Graphviz是一个强大的图形绘制工具，非常适合于自动化生成结构化的图表，如思维导图。

from graphviz import Digraph

# 这是从模型生成的底层需求，以及它们的子需求
requirements = {
	    "Cloud-based Finance Software": ["Invoice Processing", "Account Management", "Report Generation"],
	    "Invoice Processing": ["Upload Invoices", "Recognize Invoices", "Archive Invoices"],
	    "Account Management": ["User Account Creation", "Data Security"],
	    "Report Generation": ["Financial Reports", "Tax Reports", "Custom Reports"]
	}
	
# 创建Digraph对象
dot = Digraph(comment='The Requirements Mind Map')

# 添加顶层需求节点
dot.node('A', 'Cloud-based Accounting Software')

# 添加底层需求及其关联
for parent, children in requirements.items():
	for child in children:
		# 确保每个节点只被添加一次
		dot.node(child, child)
		dot.edge(parent, child)
	
# 生成思维导图，保存为PDF文件
dot.render('requirements_mind_map', format='pdf', view=True)

三、待解决的技术问题

1. 不同大模型选取

选择合适的大模型对于确保需求生成的准确性和效率至关重要。不同模型基于其训练数据、架构和优化目标，在理解复杂需求、生成精确底层需求方面可能表现出显著差异。因此，评估和选择最适合特定项目需求的模型成为一项挑战。此外，对不同模型的性能、可扩展性和成本效益的综合评估也是必需的，以确保项目成功。

2. 大模型对特定领域的知识了解有限

虽然大模型在多领域表现出惊人的通用性，但它们对某些专业或高度专业化领域的知识了解可能有限。这可能导致生成的底层需求不够准确或不完全符合行业标准。解决这一问题可能需要对模型进行特定领域的再训练或微调，以便它们能够更好地理解和生成与特定领域相关的需求。

3. 大模型性能对提示模板敏感

大模型的输出质量往往受到输入提示模板设计的影响，即如何向模型提出请求或问题会显著影响其生成的答案或内容的质量。因此，设计高效、有效的提示模板成为一项技术挑战。这需要深入理解模型的工作原理和语言理解能力，以及通过实验找到最佳的提示模式，从而提高需求生成的质量和相关性。

4. 大模型处理长文本和复杂层次关系存在困难

尽管大模型在处理复杂语言任务方面表现出色，但它们在处理长文本以及理解和生成包含复杂层次关系和逻辑结构的文本时仍然面临挑战。这对于从顶层需求生成结构化和详细的底层需求尤其成问题。提高模型在处理长序列数据和复杂关系理解方面的能力，可能需要开发新的模型架构、训练技术或数据处理策略。