NLP作业02：课程设计报告

NLP作业02：课程设计报告

作业头

这个作业属于那个课程	自然语言处理
这个作业要求在哪里	NLP作业02：课程设计报告
我在这个课程的目标是	通过综合应用项目的实施，培养团队协作沟通能力和运用现代工具分析和解决复杂工程问题的能力
这个作业在那个具体方面帮助我实现目标	能综合运用所学理论知识和操作技能进行实际工程项目的设计开发
参考文献	http://t.csdn.cn/mu8sF

垃圾短信分类

1. 设计目的
通过课程设计的练习，加深对所学自然语言处理的理论知识与操作技能的理解和掌握，能综合运用所学理论知识和操作技能进行实际工程项目的设计开发，真正体会到自然语言处理算法在实际工程项目中的具体应用方法，为今后能够独立或协助工程师进行人工智能产品的开发设计工作奠定基础。通过综合应用项目的实施，培养团队协作沟通能力和运用现代工具分析和解决复杂工程问题的能力；引导深刻理解并自觉实践职业精神和职业规范；培养遵纪守法、爱岗敬业、诚实守信、开拓创新的职业品格和行为习惯。

2. 设计要求
2.1 实验仪器及设备
（1） 使用64位Windows操作系统的电脑。
（2） 使用3.8.5版本的Python。
（3） 使用Jupyter notebook编辑器。
（4） 使用 jieba, wordcloud……
2.2 设计要求
课程设计的主要环节包括课程设计作品和课程设计报告的撰写。课程设计作品的完成主要包含方案设计、计算机编程实现、作品测试几个方面。课程设计报告主要是将课程设计的理论设计内容、实现的过程及测试结果进行全面的总结，把实践内容上升到理论高度。

3. 设计内容
3.1 设计背景
面对激烈的市场竞争，各大运营商及相关部门都在寻求一种快速、有效的垃圾短信识别方法。通过垃圾短信的精准识别，以完善用户的通讯环境，为有关部门提供有效依据，维护运营商利益。试通过建立合理的短信识别模型，对垃圾短信进行识别，解决运营商和手机用户等困扰。
3.2 设计方法
本次设计针对某通讯运营商提供的短信文本数据，首先从原始数据集中抽取所需数据，再对其进行数据预处理，其中包括去除重复值、中文分词和停用词过滤，并通过绘制词云图检查数据分词效果，最后建立朴素贝叶斯(Naive Bayes)分类模型，实现对垃圾短信的精确识别。
3.3 设计步骤
数据抽取：抽取所需数据集，包括文本数据。
数据预处理：对数据进行文本去重、中文分词、停用词过滤处理，得到处理后的文本数据。
建模准备：将分词结果分别转换成文档-词条矩阵，并划分测试集与训练集，为后续的模型构建和评价做准备。
模型构建与评价：构建支持向量机模型，并建立评价指标精确率、召回率、F1值对模型分类效果进行评价，得到模型的准确性和稳定性。
模型优化与分析结果：总结和分析模型的表现，并提出优化建议，使模型的拟合效果更好。

4. 设计过程
4.1 设计流程图<