- 今天很开心,明天见! ->再见
到这里,我们模型需要的数据就有了。可以很清晰的写出下面的代码:
list_sen=['今天这个菜真好吃!','嗨!今天天气不错!','今天很开心,明天见!']
需要的数据就有了,下一步是提取特征。
特征提取
特征的提取是为了方便进行分类计算,每一个特征都具备一定的权重,表明它的权值。通过特征的权值,就能够确定句子属于哪一个类别。这里我们将每一个字作为一个特征,1/(字出现的总次数)作为权值。
首先构造一个字典,key为字,value为频率:
dict_voc=dict()
for s in list_sen:
for w in s:
if w in dict_voc.keys():
dict_voc[w]+=1
else:
dict_voc[w]=1
输出为:
{'这': 1.0, '嗨': 1.0, '好': 1.0, '气': 1.0, '真': 1.0, '错': 1.0, '不': 1.0, '个': 1.0, '心': 1.0, '天': 0.2, '菜': 1.0, '今': 0.3333333333333333, ',': 1.0, '!': 0.25, '吃': 1.0, '明': 1.0, '见': 1.0, '很': 1.0, '开': 1.0}
到这里字典构造完毕,下一步就是构造类别的特征了。
前面说了,我们把每一个类别下的每一个字作为特征,代码也就可以写出来了。
features_one=dict()#吃饭 {字:频率}
features_two=dict()#打招呼
features_three=dict()#再见
for w in list_sen[0]:
if w in features_one.keys():
features_one[w]+=1
else:
features_one[w]=1
for w in list_sen[1]:
if w in features_two.keys():
features_two[w]+=1
else:
features_two[w]=1
for w in list_sen[2]:
if w in features_three.keys():
features_three[w]+=1
else:
features_three[w]=1
print(features_one)
print(features_two)
print(features_three)
#{'好': 1, '天': 1, '真': 1, '吃': 1, '!': 1, '菜': 1, '今': 1, '个': 1, '这': 1}
#{'不': 1, '!': 2, '气': 1, '嗨': 1, '错': 1, '今': 1, '天': 2}
#{'明': 1, '心': 1, '开': 1, '见': 1, ',': 1, '很': 1, '今': 1, '天': 2, '!': 1}
到这里特征的提取已经完成
模型准备
模型准备需要的是建立分类模型。这里我们通过给每一个特征赋予一个得分,然后将句子中每一个字的特征得分进行相加,然后就可以得到句子在某一个类别下特征的总得分,从而能够对句子进行分类。
比方说:今天的工作就到这里吧,大家早点回去,明天再继续吧。
这句话在每一个类别下的得分为:
特征命中:今、天、这、天
类别:吃饭
得分:4
特征命中:今、天、天
类别:打招呼
得分:3
特征命中:今、天、明、天、,、,
类别:再见
得分:6
这里,我们假设每一个字的权重为1,。显然,得分6最高,所属的类别应该是:再见。
到这里,我们所需要的模型就已经建立起来了。
训练模型
上一节有一个问题,比如今天在所有的类别都出现了,拜拜只出现在了再见类别,菜也只出现在了吃饭类别。这是不是意味这每一个特征应该具备不同的权重呢?或者说有些字的辨识度应该更高,有些字的辨识度应该更低呢?
是的,我们在这里通过1/(字出现的总次数)来对字的特征得分进行加权。
特征命中:今(0.3)、天(0.2)、这(1)、天(0.2)
类别:吃饭
得分:1.73
特征命中:今(0.3)、天(0.2)、天(0.2)
类别:打招呼
得分:1.13
特征命中:今(0.3)、天(0.2)、明(1.0)、天(0.2)、,(1.0)、,(1.0)
类别:再见
得分:4.13
结果还是属于类别再见。
有了前面的叙述,可以很方便的进行编码实现:
sen='今天的工作就到这里吧,大家早点回去,明天再继续吧。'
score1=0.0
score2=0.0
score3=0.0
print('class1:')
for w in sen:
if w in features_one:
print('word:',w,features_one[w],dict_voc[w])
![](https://img-blog.csdnimg.cn/img_convert/b046b79e42699681ece9a440b3a401af.webp?x-oss-process=image/format,png)
![](https://img-blog.csdnimg.cn/img_convert/1bbe4f7d0274b3481ab949b16ac3c0f6.png)
。'
score1=0.0
score2=0.0
score3=0.0
print('class1:')
for w in sen:
if w in features_one:
print('word:',w,features_one[w],dict_voc[w])
[外链图片转存中...(img-pUQ243q4-1720103354348)]
[外链图片转存中...(img-RSOa9Rux-1720103354348)]