python 列表降维_Python之三国演义(上)

一、设计实现详细说明

1.1 任务详细描述

以中国四大名著之一——《三国演义》为蓝本，结合python数据分析知识进行本次的文本分析。《三国演义》全书共120回。本次的分析主要基于统计分析、文本挖掘等知识。

1.2 设计思路详细描述

1. 数据准备、数据预处理、分词等
2. 全书各个章节的字数、词数、段落等相关方面的关系
3. 整体词频和词云的展示
4. 全书各个章节进行聚类分析并可视化，主要进行了根据IF-IDF的系统聚类和根据词频的LDA主题模型聚类
5. 人物关系网络的探索，这里选取了部分人物之间的关系进行分析，主要探索了各个章节的关系图和人物关系网络图。

1.3 涵盖主要知识点

1. 分词包jieba的运用、数据读取、数据预处理
2. 运用wordcloud库进行词云的绘制
3. 文本聚类分析：TF-IDF矩阵、K-Means聚类、MDS降维、PCA降维、HC聚类、t-SNE高维数据可视化
4. LDA主题模型
5. 人物社交网络分析
6. Gephi、oracle database visualization desktop工具的使用

二、程序运行效果

2.1 数据预处理

2.1.1《三国演义》全书文本

2.1.2 重新整理行索引

2.1.3 提取标题并切分内容