文本数据分析

最新推荐文章于 2024-03-17 21:20:57 发布

OR_0295

最新推荐文章于 2024-03-17 21:20:57 发布

阅读量388

点赞数

文章标签：数据挖掘人工智能

本文链接：https://blog.csdn.net/waywardg/article/details/126536125

版权

NLP特征工程专栏收录该内容

12 篇文章 5 订阅 ¥9.90 ¥99.00

订阅专栏

文本数据分析用于理解数据语料，检查问题并指导模型训练。包括标签数量分布分析（关注正负样本平衡），句子长度分布（指导句子截断补齐），不同词汇总数统计（评估语料质量和人工审查）。

摘要由CSDN通过智能技术生成

文本数据分析的作用

可以有效的帮助我们理解数据语料，快速检查出语料可能存在的问题，并指导之后模型训练过程中一些超参数的选择。

1 标签数量分布

2 句子长度长度分布

3 不同词汇总数统计

1 标签数量分布

获得训练集和验证集的标签数量分布

# 导入必备的包
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

# 设置显示风格
plt.style.use('fivethirtyeight')

# 分别读取训练tsv和验证tsv
train_data = pd.read_csv("train.csv")
test_data = pd.read_csv("test.csv")

# 获得训练数据标签数量分布
sns.countplot("label", data = train_data)
plt.title("train_data")
plt.show()

# 获取验证数据标签数量分布
sns.countplot("label", data = test_data)
plt.title("test.csv")
plt.show()

了解本专栏