(五)N-gram语言模型的数据处理

一、步骤

数据集说明:一段英文
(1)分词:把原始的英文分词,只保留词之间的顺序不变,多个句子也是看出整体进行分词。
(2)统计词频:按照n元进行词频统计,比如“I love NLP I enjoy it”当n=2时候,可以划分为(【I love】,【love NLP】,【NLP I】…),分别统计【I love】,【love NLP】等出现的次数。(在朴素贝叶斯中只是统计一个词,这里是统计n个前后关联的词)
(3)对统计好的词进行大到小的排序,取m和词作为特征向量
其他步骤同文本分类步骤

二、代码
# -*- coding:utf-8 -*-
import urllib2
import re
import string
import operator


def cleanText(input):
    input = re.sub('\n+', " ", input).lower()  # 匹配换行,用空格替换换行符
    input = re.sub('\[[0-9]*\]', "", input)  # 剔除类似[1]这样的引用标记
    input = re.sub(' +', " ", input)  # 把连续多个空格替换成一个空格
    input = bytes(input)  # .encode('utf-8') # 把内容转换成utf-8格式以消除转义字符
    # input = input.decode("ascii", "ignore")
    return input


def cleanInput(input):
    input = cleanText(input)
    cleanInput = []
    input = input.split(' ')  # 以空格为分隔符,返回列表

    for item in input:
        item = item.strip(string.punctuation)  # string.punctuation获取所有标点符号

        if len(item) > 1 or (item.lower() == 'a' or item.lower() == 'i'):
            cleanInput.append(item)
    return cleanInput


def getNgrams(input, n):
    #把一段英文处理成一个个词语,保留了分词后每个词在原短文中的顺序
    input = cleanInput(input)

    output = {}  # 构造字典
    for i in range(len(input) - n + 1):
        ngramTemp = " ".join(input[i:i + n])
        if ngramTemp not in output:  # 词频统计
            output[ngramTemp] = 0
        output[ngramTemp] += 1
    return output


# 获取数据,content为一段英文
content = urllib2.urlopen(urllib2.Request("http://pythonscraping.com/files/inaugurationSpeech.txt")).read()
#2-grams
ngrams = getNgrams(content, 2)
sortedNGrams = sorted(ngrams.items(), key=operator.itemgetter(1), reverse=True)  # =True 降序排列
print(sortedNGrams)
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值