语料处理流程

pumpkin84514

于 2024-07-19 23:51:04 发布

阅读量832

点赞数 26

分类专栏： python相关 AI相关学习文章标签： ai-native ai

本文链接：https://blog.csdn.net/pumpkin84514/article/details/140561852

版权

python相关同时被 2 个专栏收录

91 篇文章 0 订阅

订阅专栏

AI相关学习

76 篇文章 3 订阅

订阅专栏

处理语料（文本数据）是自然语言处理（NLP）项目中的关键步骤。这个过程通常包括以下几个步骤：数据收集、数据清理、数据预处理、特征提取和数据增强。

以下是语料处理流程：

1. 数据收集

特点

数据来源可以是网络抓取、公开数据集、公司内部数据等。
需要考虑数据的合法性和隐私问题。

实现方法

网络抓取： 使用爬虫工具如Scrapy、BeautifulSoup等从网页收集数据。
API调用： 使用API接口（如微博API、微信公众号API）获取数据。
公开数据集： 下载和使用Kaggle、NLPCC等提供的公开数据集。

原理

网络抓取： 自动化脚本访问网页并提取所需的数据。
API调用： 通过编程方式访问第三方服务提供的数据接口。

示例

import requests
from bs4 import BeautifulSoup

# 网络抓取示例
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
text_data = soup.get_text()

中文注意事项

确保爬取的网页编码格式正确，使用response.encoding或chardet库检测和设置编码。
使用中文特定的API获取数据，如新浪微博、知乎等。

2. 数据清理

特点

处理缺失值、重复数据、异常数据等。
标准化数据格式（如日期格式、数值格式）。

实现方法

去除噪音： 移除HTML标签、特殊字符、停用词等。
文本规范化： 转换大小写、词形还原（Lemmatization）、词干提取（Stemming）。

原理

词形还原（Lemmatization）： 将词语转换为其基本形式。
词干提取（Stemming）： 去除词语的后缀部分。

示例

import re
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer

# 去除HTML标签和特殊字符
cleaned_text = re.sub(r'<.*?>', '', text_data)
cleaned_text = re.sub(r'\W', ' ', cleaned_text)

# 转换为小写
cleaned_text = cleaned_text.lower()

# 移除停用词
stop_words = set(stopwords.words('english'))
filtered_text = ' '.join([word for word in cleaned_text.split() if word not in stop_words])

# 词形还原
lemmatizer = WordNetLemmatizer()
normalized_text = ' '.join([lemmatizer.lemmatize(word) for word in filtered_text.split()])

中文注意事项

使用正则表达式去除中文文本中的特殊字符和空格。
使用中文停用词表，如哈工大停用词表。
中文分词工具如jieba进行分词，替代词形还原和词干提取。

示例：

import re
import jieba

# 去除特殊字符
cleaned_text = re.sub(r'[^\w\s]', '', text_data)

# 中文分词
segmented_text = ' '.join(jieba.cut(cleaned_text))

# 移除停用词
stop_words = set(open('chinese_stopwords.txt', 'r').read().split())
filtered_text = ' '.join([word for word in segmented_text.split() if word not in stop_words])

3. 数据标注

特点

为文本数据添加标签，以便进行有监督学习。
标签可以是分类标签（如情感标签）、实体标签（如人名、地名）等。

实现方法

手动标注： 人工标注每个文本样本的标签。
自动标注： 使用预训练模型或规则自动生成标签，之后再进行人工校验。

原理

手动标注： 由人工对每个样本进行阅读和标注，确保标注的准确性。
自动标注： 通过编程方式自动生成初步标签，提高效率，但需要人工校验和修正。

示例

# 手动标注示例（伪代码）
# 假设我们要进行情感分析，手动标注的标签可以是 'positive' 或 'negative'

text_samples = ["今天天气真好", "我很不开心"]
labels = ["positive", "negative"]

# 将数据和标签保存到文件或数据库
data_with_labels = list(zip(text_samples, labels))

中文注意事项

对于中文情感分析，确保标注的情感词汇和情感倾向一致。
使用中文命名实体识别工具（如LTP、HanLP）辅助自动标注。

4. 数据预处理

特点

将文本数据转换为模型可用的格式。
包括分词、向量化等。

实现方法

分词（Tokenization）： 将文本拆分为单独的单词或子词。
向量化（Vectorization）： 将文本转换为数值向量。

原理

TF-IDF（Term Frequency-Inverse Document Frequency）： 衡量词语在文档中的重要性。
词嵌入（Word Embeddings）： 将词语表示为固定维度的向量，如Word2Vec、GloVe、FastText。
BERT等预训练模型： 使用预训练语言模型将文本转换为向量表示。

示例

from sklearn.feature_extraction.text import TfidfVectorizer

# 分词和TF-IDF向量化
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform([normalized_text])

中文注意事项

中文分词后再进行TF-IDF向量化。
使用中文词嵌入模型，如Chinese-Word2Vec、Chinese-BERT等。

示例：

from sklearn.feature_extraction.text import TfidfVectorizer

# 中文分词
segmented_text = ' '.join(jieba.cut(cleaned_text))

# 分词和TF-IDF向量化
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform([segmented_text])

5. 特征提取

特点

提取对任务有用的特征以提高模型性能。
包括N-grams、词频统计、句法特征等。

实现方法

N-grams： 提取连续的n个词语作为特征。
词频统计： 统计词语出现的频率。
句法特征： 提取POS标签、依存关系等句法信息。

原理

N-grams： 捕捉词语之间的局部依赖关系。
词频统计： 基于词频分布提取文本特征。
句法特征： 提取句法结构信息以增强文本表示。

示例

from sklearn.feature_extraction.text import CountVectorizer

# 提取N-grams特征
ngram_vectorizer = CountVectorizer(ngram_range=(1, 2))
ngram_matrix = ngram_vectorizer.fit_transform([normalized_text])

中文注意事项

中文N-grams可以使用单字、双字甚至三字搭配。
使用中文分词后再进行特征提取。

示例：

# 提取N-grams特征
ngram_vectorizer = CountVectorizer(ngram_range=(1, 2))
ngram_matrix = ngram_vectorizer.fit_transform([segmented_text])

6. 数据增强

特点

增加训练数据的多样性，提高模型泛化能力。
包括数据扩展、数据生成等。

实现方法

数据扩展： 同义词替换、随机插入、随机删除、随机交换等。
数据生成： 使用生成对抗网络（GAN）或预训练语言模型生成新数据。

原理

同义词替换： 使用同义词替换部分词语以生成新样本。
数据生成： 基于生成模型生成符合分布的新数据。

示例

import random
from nltk.corpus import wordnet

# 同义词替换示例
def synonym_replacement(text, n):
    words = text.split()
    new_words = words.copy()
    random_word_list = list(set([word for word in words if wordnet.synsets(word)]))
    random.shuffle(random_word_list)
    num_replaced = 0
    
    for random_word in random_word_list:
        synonyms = wordnet.synsets

(random_word)
        if synonyms:
            synonym = synonyms[0].lemmas()[0].name()
            new_words = [synonym if word == random_word else word for word in new_words]
            num_replaced += 1
        if num_replaced >= n:
            break
    
    return ' '.join(new_words)

augmented_text = synonym_replacement(normalized_text, 2)
print(augmented_text)

中文注意事项

使用中文同义词库进行同义词替换，如哈工大同义词词林。
使用预训练的中文生成模型如GPT-2 Chinese生成新数据。

示例：

import jieba
import synonyms

# 中文同义词替换示例
def chinese_synonym_replacement(text, n):
    words = jieba.lcut(text)
    new_words = words.copy()
    random.shuffle(new_words)
    num_replaced = 0
    
    for word in new_words:
        if num_replaced >= n:
            break
        syn_words = synonyms.nearby(word)[0]
        if syn_words:
            synonym = random.choice(syn_words)
            new_words = [synonym if w == word else w for w in new_words]
            num_replaced += 1
    
    return ''.join(new_words)

augmented_text = chinese_synonym_replacement(cleaned_text, 2)
print(augmented_text)