【nlp】天池学习赛-新闻文本分类-机器学习

目录

1、读取数据 

查看句子长度 

2、可视化 

2.1、新闻的字数分布

 2.2、新闻文本类别统计

 3、数据分析

 3.1、统计每个字符出现的次数

3.2、统计不同字符在句子中出现的次数

4、文本特征提取

4.1、CountVectors+RidgeClassifier

4.2、TF-IDF + RidgeClassifier 

4.3、MultinomialNB +CountVectors

4.4、MultinomialNB +TF-IDF

4.5、 绘图


1、读取数据 

import pandas as pd
import seaborn as sns

#  nrows=100  设置读取100行数据
train_df = pd.read_csv('新建文件夹/天池—新闻文本分类/train_set.csv', sep='\t')  
print(train_df.head())
   label                                               text
0      2  2967 6758 339 2021 1854 3731 4109 3792 4149 15...
1     11  4464 486 6352 5619 2465 4802 1452 3137 5778 54...
2      3  7346 4068 5074 3747 5681 6093 1777 2226 7354 6...
3      2  7159 948 4866 2109 5520 2490 211 3956 5520 549...
4      3  3646 3055 3055 2490 4659 6065 3370 5814 2465 5...

查看句子长度 

#句子长度分析
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())
#平均长度907.207110
count    200000.000000
mean        907.207110
std         996.029036
min           2.000000
25%         374.000000
50%         676.000000
75%        1131.000000
max       57921.000000
Name: text_len, dtype: float64

2、可视化 

2.1、新闻的字数分布

由图可知,字数 10000以上的新闻文本是极少数,小于5000

import matplotlib.pyplot as plt
_ = plt.hist(train_df['text_len'], bins=200)
plt.xlabel('Text char count')
plt.title("Histogram of char count")
plt.show()

 2.2、新闻文本类别统计

train_df['label'].value_counts().plot(kind = 'bar')
plt.title('News class count')
plt.xlabel('category')
plt.show()

数据集中标签的对应的关系如下:{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘彩票’: 12, ‘星座’: 13}

  • 由图知,科技,股票,体育类别的新闻占比最多

 3、数据分析

  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
自然语言处理NLP)是人工智能领域中研究人类语言和计算机之间交互的一门学科,在新闻文本分类中具有广泛应用。在天池中,通过零基础入门nlp,我们可以学会如何进行文本特征工程,以实现新闻文本分类的任务。 首先,特征工程是将原始数据转换为计算机可以处理的特征向量的过程。在新闻文本分类中,我们需要将文本数据转化为数值特征,在此过程中,需要完成以下步骤: 1.分词:将一段文本分割成单个单词或词语。分词可以使用现有的中文分词工具,如jieba分词。 2.去除停用词:停用词是指在文本分析中无需考虑的一些常见词汇,如“的”,“是”,“我”等。我们需要在分词之后将这些停用词去除。 3.词袋模型:词袋模型是一种文本表示方法,将一段文本表示为一个包含所有单词出现次数的向量。词袋模型基于假设,即文档的主要内容可以通过单词出现的频率来表示。我们可以使用sklearn库中的CountVectorizer类来实现词袋模型的处理。 4.特征选择:特征选择是从所有的特征中选择出一部分最有意义的特征的过程。常见的特征选择方法有卡方检验、互信息和信息增益等。我们可以使用sklearn库中的SelectKBest类来进行特征选择。 最后,通过建立机器学习模型,我们可以使用处理后的特征向量进行新闻文本分类任务,也可以通过不同的模型评估指标来衡量模型性能。 通过学习新闻文本分类的特征工程,我们可以更加深入地了解nlp的基础知识和应用场景,并通过实践掌握不同的文本特征工程方法,提高我们的nlp技能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值