文本分析-文本特征获取

什么是文本特征:
常见的文本特征：

1. 词汇特征：包括单词、双词（bigrams）、三词（trigrams）等，它们是文本特征的最基本形式，通常用于捕捉文本内容的表面信息。
2. 词性特征：涉及单词的词性标签（如名词、动词、形容词等），这些特征有助于理解单词在句子中的作用。
3. 句法特征：指的是文本数据的句法结构信息，如依存句法树中的关系，这些特征有助于捕捉句子中词与词之间的关系。
4. 语义特征：这些特征试图捕捉词汇和短语的意义，包括词嵌入（如Word2Vec、GloVe）、句子嵌入等，它们能够捕捉词语的上下文意义。
5. 统计特征：包括TF-IDF（词频-逆文档频率）、词频、文档长度等，这些特征基于统计方法，用于评估一个词在文档或语料库中的重要性。
6. 情感特征：涉及情感词汇和短语，用于情感分析，以判断文本的情感倾向。
   文本特征的作用:
   文本特征的使用：
   ● 表示文本：将文本转换为机器可以理解和处理的形式。
   ● 信息提取：从文本中提取关键信息，如命名实体识别、关系提取等。
   ● 文本分类：将文本分配到预定义的类别中，如垃圾邮件检测、情感分析等。
   ● 文本生成：生成新的文本内容，如自动写作、机器翻译等。
   ● 文本相似度：评估两个文本片段的相似程度，用于如文本聚类、重复检测等任务。

标签数量分布: 句子长度分布: 词频统计与关键词词云写在文本数据分析目录

什么是n-gram特征:
n-gram特征: n-gram是一种自然语言处理中的统计语言模型，它通过将文本内容按照字节、字符、单词等不同粒度进行大小为n的滑动窗口操作，形成一系列的n个连续项的组合。每个组合就是一个n-gram。在处理自然语言时，n-gram模型可以用来预测下一个词语或字符，是许多语言处理任务的基础，如文本分类、机器翻译、语音识别等。
下面是n-gram的几种不同形式：

1. Unigram（一元模型）：n=1，是最简单的模型，只考虑每个词的出现频率，不关心词的上下文。
2. Bigram（二元模型）：n=2，模型考虑每个词及其前一个词的组合出现的频率。
3. Trigram（三元模型）：n=3，模型考虑每个词及其前两个词的组合出现的频率。
4. …
5. N-gram：n为任意自然数，模型考虑每个词及其前n-1个词的组合出现的频率。

滑动窗口（Sliding Window）是一种常用于信号处理、图像处理和文本处理的技术，它通过在一个固定大小的窗口内进行一系列操作，来分析数据或提取特征。
在文本处理中，特别是在使用n-gram模型时，滑动窗口用于从文本中提取连续的n个项（可以是字符、单词或其他语言单元）。以下是滑动窗口操作的步骤：

1. 窗口大小：首先确定滑动窗口的大小，即n-gram中的n值。例如，如果n=3，那么滑动窗口将包含3个连续的项。
2. 初始化窗口：在文本的开始处放置窗口，确保窗口包含前n个项。
3. 提取n-gram：从当前窗口中提取n-gram，并将其作为特征或用于其他分析。
4. 滑动窗口：将窗口沿文本向右移动一个位置。这通常意味着窗口从左侧移除一个项，并在右侧添加一个新的项。
5. 重复：重复步骤3和4，直到窗口到达文本的末尾。每次窗口滑动都会产生一个新的n-gram。
   例如，考虑以下文本序列和bigram（n=2）的滑动窗口操作：
   文本序列：[“我”，“爱”，“你”，“们”]
   滑动窗口操作：
   ● 第一次滑动：[“我”，“爱”]
   ● 第二次滑动：[“爱”，“你”]
   ● 第三次滑动：[“你”，“们”]

zip()讲解
zip()函数用于将两个或多个迭代器（如列表、元组、字符串等）中的元素配对成一个个元组。它返回一个zip对象，这是一个迭代器，迭代器中的元素是一个个的元组，每个元组包含了输入迭代器中相对应位置的元素。
在Python中，zip()函数用于将两个或多个迭代器（如列表、元组、字符串等）中的元素配对成一个个元组。它返回一个zip对象，这是一个迭代器，迭代器中的元素是一个个的元组，每个元组包含了输入迭代器中相对应位置的元素。
zip()函数的基本用法如下：

zip(*iterables)

这里，*iterables代表任意数量的迭代器。
下面是一些zip()函数的例子：

基本用法

numbers = [1, 2, 3]
letters = [‘a’, ‘b’, ‘c’]
zipped = zip(numbers, letters)
print(list(zipped)) # 输出: [(1, ‘a’), (2, ‘b’), (3, ‘c’)]

使用zip()处理不等长的迭代器

numbers = [1, 2, 3]
letters = [‘a’, ‘b’]
zipped = zip(numbers, letters)
print(list(zipped)) # 输出: [(1, ‘a’), (2, ‘b’)]

使用zip()解压元组列表

zipped_list = [(1, ‘a’), (2, ‘b’), (3, ‘c’)]
numbers, letters = zip(*zipped_list)
print(numbers) # 输出: (1, 2, 3)
print(letters) # 输出: (‘a’, ‘b’, ‘c’)

在最后一个例子中，zip(zipped_list)的作用是将一个由元组组成的列表解压成原来的多个迭代器。这是zip()函数的一个常见用法，通常与操作符结合使用，用于解包元组列表。
需要注意的是，zip()返回的迭代器只能被迭代一次。如果你需要多次迭代同一个zip对象，可以将其转换为列表或其他可重复迭代的序列。
二维长度不等:
如果两个二维数组的长度不等，使用zip()函数时，它会按照最短的数组进行配对。也就是说，它会停止在任何一个输入迭代器的元素用完时，忽略较长迭代器中剩余的元素。
例如：

array1 = [[1, 2], [3, 4], [5, 6]]
array2 = [[7, 8], [9, 10]]
zipped = zip(array1, array2)
print(list(zipped))

输出将是：

[([1, 2], [7, 8]), ([3, 4], [9, 10])]

在这个例子中，array1有3个子列表，而array2只有2个子列表。因此，zip()函数只配对了前两个子列表对，忽略了array1中的最后一个子列表[5, 6]。
如果你想要配对所有的子列表，即使它们的长度不同，你可以使用itertools.zip_longest函数，它是itertools模块中的一个函数，它可以继续配对直到最长的数组被用完，并用指定的填充值来填充短的数组：

import itertools
array1 = [[1, 2], [3, 4], [5, 6]]
array2 = [[7, 8], [9, 10]]
zipped = itertools.zip_longest(array1, array2, fillvalue=None)
print(list(zipped))

输出将是：

[([1, 2], [7, 8]), ([3, 4], [9, 10]), ([5, 6], None)]

在这个例子中，itertools.zip_longest会配对所有的子列表，并且对于array2中缺少的第三个元素，使用fillvalue参数指定的值None来填充。

n-gram特征作用:
N-gram特征在语言模型中用于预测下一个词或估计特定序列的概率。
以下是N-gram特征的几个作用：

1. 捕捉局部语法和语义：N-gram能够捕捉到文本中的局部语法规则和语义模式。例如，双词（bigrams）可以捕捉到词与词之间的搭配模式，而三词（trigrams）可以捕捉到更复杂的搭配和短语结构。
2. 处理未知词汇：在处理文本时，经常会遇到未登录词（out-of-vocabulary，OOV）问题，即模型没有见过的词。N-gram模型可以通过上下文中的其他词来推测未知词的某些特性，从而在一定程度上缓解这个问题。
3. 改善语言模型：在构建语言模型时，N-gram是一个重要的特征。它可以帮助模型更好地预测下一个词或短语，尤其是在处理较短的上下文时。
4. 文本分类和信息检索：在文本分类和信息检索任务中，N-gram特征可以用来捕捉文本的局部特征，这些特征对于区分不同类别的文本非常重要。
5. 增强机器翻译：在机器翻译中，N-gram模型可以用来提高翻译的流畅性和准确性。通过考虑源语言和目标语言中的N-gram概率，可以生成更自然、更符合语言习惯的翻译文本。
6. 语音识别：在语音识别中，N-gram模型可以用来提高识别的准确率。通过考虑词序列的概率，可以减少错误识别，并提高整体的识别质量。
7. 拼写检查和自动更正：N-gram特征可以用于拼写检查和自动更正应用程序中，通过比较输入文本的N-gram概率与正确拼写文本的N-gram概率，可以识别和纠正拼写错误。
   总之，N-gram特征在自然语言处理中是一种非常强大且多功能的工具，它能够捕捉到文本中的局部语言特征，并在多种NLP任务中发挥重要作用。
   n-gram实现:

# 一般n-gram中的n取2或者3, 这里取2为例
ngram_range = 2

def create_ngram_set(input_list):
    """
    description: 从数值列表中提取所有的n-gram特征
    :param input_list: 输入的数值列表, 可以看作是词汇映射后的列表, 
                       里面每个数字的取值范围为[1, 25000]
    :return: n-gram特征组成的集合
    
    eg:
    >>> create_ngram_set([1, 3, 2, 1, 5, 3])
    {(3, 2), (1, 3), (2, 1), (1, 5), (5, 3)}
    """
    # 使用列表推导式和zip函数，生成长度为ngram_range的元组，并转换为集合返回
    return set(zip(*[input_list[i:] for i in range(ngram_range)]))

在上述代码中，create_ngram_set 函数接受一个数值列表作为输入，并生成该列表中所有的2-gram特征（由两个连续元素组成的元组）。

什么是文本长度?
在自然语言处理（NLP）中，模型中文本长度的规范是指对输入到模型中的文本的长度进行限制或标准化处理的过程。这通常涉及到将文本截断或填充到特定的长度，以便模型能够处理。

长度实现:
pading讲解
填充指定长度:

from keras.preprocessing.sequence import pad_sequences

cutlen = 10 # 假设我们想要将所有序列填充到10

def padding(x_train):
return pad_sequences(x_train, maxlen=cutlen)

前置与后置填充:

from keras.preprocessing.sequence import pad_sequences

假设我们有一个序列列表

sequences = [
[1, 2, 3, 4],
[5, 6],
[7, 8, 9, 10, 11]
]

设置目标长度

maxlen = 10

前置填充

pre_padded = pad_sequences(sequences, maxlen=maxlen, padding=‘pre’)
print(pre_padded)

输出: [[0 0 0 0 0 1 2 3 4]

[0 0 0 0 0 5 6 0 0]

[0 0 7 8 9 10 11 0 0]]

后置填充

post_padded = pad_sequences(sequences, maxlen=maxlen, padding=‘post’)
print(post_padded)

输出: [[1 2 3 4 0 0 0 0 0]

[5 6 0 0 0 0 0 0 0]

[7 8 9 10 11 0 0 0 0]]

列表表达式理解:
用法:
return set(zip(*[list[i:] for i in range(ngram_range)]))

解释:
在这段代码中，list[i:]是一个切片操作，它从列表list的第i个元素开始，一直到列表的末尾。这个操作在列表推导式中使用，对于每个i在range(ngram_range)中的值，它会生成一个新的切片。
让我们逐步解释这段代码：

return set(zip(*[list[i:] for i in range(ngram_range)]))

1. range(ngram_range)：这将创建一个从0到ngram_range - 1的整数序列。这个序列将用于列表推导式中的i值。
2. list[i:] for i in range(ngram_range)：这是一个列表推导式，它将对于range(ngram_range)中的每个i值，生成list的一个切片。例如，如果ngram_range是3，那么将生成三个切片：list[0:]、list[1:]和list[2:]。
3. zip(*[…])：zip()函数接受多个可迭代对象作为参数，并将它们配对成元组。在这个例子中，*操作符用于解包列表推导式生成的所有切片，将它们作为单独的参数传递给zip()。这样，zip()就会将这些切片配对起来，形成一个n-gram。
4. set(…)：set()函数用于将一个可迭代对象转换成集合。在这个例子中，它将zip()返回的n-gram元组转换成一个集合，从而去除重复的n-gram，并保留唯一的n-gram。
   例如，假设我们有以下列表和ngram_range设置为3：

list = [1, 2, 3, 4]
ngram_range = 3

那么，列表推导式将生成以下切片：

● list[0:] -> [1, 2, 3, 4]
● list[1:] -> [2, 3, 4]
● list[2:] -> [3, 4]
zip()将它们配对起来，得到：
● zip([1, 2, 3, 4], [2, 3, 4], [3, 4]) -> [(1, 2, 3), (2, 3, 4)]
最后，set()将它们转换成集合：
● set([(1, 2, 3), (2, 3, 4)]) -> {(1, 2, 3), (2, 3, 4)}
最终，这段代码将返回一个包含所有唯一n-gram的集合。
为什么要用列表表达式?表达式作用?
列表表达式（list comprehension）是Python中一种非常强大和简洁的构建列表的方法。它允许你通过对一个序列进行操作并应用一个表达式来创建一个新的列表。列表表达式的语法如下：

[expression for item in iterable]

或者，如果有条件过滤：

[expression for item in iterable if condition]

列表表达式的作用是：

1. 生成列表：它可以快速生成列表，而不需要编写显式的循环语句。
2. 代码简洁：列表表达式通常比等效的for循环更加简洁和易读。
3. 提高效率：列表表达式在内部进行了优化，通常比手动编写的for循环更快。
4. 嵌套使用：列表表达式可以嵌套使用，允许你进行更复杂的操作。
   为什么使用列表表达式：

● 可读性：列表表达式提供了一种清晰的方式来表达列表的创建逻辑，使得代码更容易理解。
● 功能性：列表表达式能够在一行代码内实现复杂的逻辑，这有助于减少代码的行数，使其更加紧凑。
● 性能：在某些情况下，列表表达式可以比传统的for循环提供更好的性能，因为它们在内部可能会进行更有效的迭代和内存管理。
例如，如果你想创建一个包含前10个正整数平方的列表，你可以使用列表表达式：

squares = [x**2 for x in range(1, 11)]
print(squares) # 输出: [1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

如果你想创建一个列表，其中只包含前10个正整数中的偶数的平方，你可以添加一个条件：

even_squares = [x**2 for x in range(1, 11) if x % 2 == 0]
print(even_squares) # 输出: [4, 16, 36, 64, 100]

列表表达式是Python编程中的一种非常实用的特性，它可以使你的代码更加优雅和高效。

文本长度作用:
在自然语言处理（NLP）中，模型中文本长度的规范是指对输入到模型中的文本的长度进行限制或标准化处理的过程。这通常涉及到将文本截断或填充到特定的长度，以便模型能够处理。文本长度规范的作用主要包括以下几点：

1. 模型兼容性：许多NLP模型，尤其是神经网络模型，需要固定长度的输入。这是因为模型的架构通常设计为接收和产生固定大小的向量，因此，输入文本必须被规范为统一的长度。
2. 计算效率：处理过长的文本会消耗更多的计算资源，增加计算时间和成本。通过限制文本长度，可以减少模型的复杂性和计算负担，提高处理效率。
3. 避免过拟合：对于训练数据中的长文本，如果模型仅依赖于文本的一部分进行学习，可能会导致过拟合，即模型在训练数据上表现良好，但在未见过的数据上表现不佳。通过截断长文本，可以迫使模型关注文本中最相关的部分。
4. 数据分布一致性：在多任务学习或迁移学习中，不同任务的文本长度可能差异很大。通过统一文本长度，可以确保不同任务之间的数据分布更加一致，有助于模型的泛化能力。
5. 内存限制：在某些硬件平台上，尤其是移动设备和嵌入式系统，内存资源有限。规范文本长度有助于确保模型能够在这些资源受限的环境中运行。
6. 信息浓缩：通过选择文本中最相关的部分或使用摘要技术，可以将长文本浓缩为包含关键信息的较短文本，这有助于模型捕捉最重要的特征。
7. 处理长距离依赖：对于长文本，模型可能难以捕捉远距离词汇之间的关系。通过截断文本或使用特定的结构（如循环神经网络或Transformer中的注意力机制），可以更好地处理长距离依赖问题。

在实际应用中，文本长度的规范通常涉及以下步骤：
● 截断：如果文本超过预设的长度限制，超出的部分将被裁剪掉。
● 填充：如果文本短于预设的长度，通常会使用特定的填充标记（如[PAD]）将文本填充到指定长度。
● 分割：对于过长的文本，可以将其分割成多个片段，每个片段单独处理或作为单独的样本输入到模型中。