paddlepaddle学习

假期会好好学习下，今天看了一点入门

百度AI Studio课程_学习成就梦想，AI遇见未来_AI课程 - 百度AI Studio - 人工智能学习与实训社区

安装

# 安装所需的py包

pip install paddle2onnx==0.8.2

pip install onnx==1.9.0

pip install onnxruntime-gpu==1.4.0

pip install ppqi==1.0.4

简单测试程序：

加载字典的古典诗词

import paddlenlp
test_dataset, dev_dataset, train_dataset = paddlenlp.datasets.load_dataset('poetry', splits=('test','dev','train'), lazy=False)
print('test_dataset 的样本数量：%d'%len(test_dataset))
print('dev_dataset 的样本数量：%d'%len(dev_dataset))
print('train_dataset 的样本数量：%d'%len(train_dataset))
print('单样本示例：%s'%test_dataset[0])

import re
def data_preprocess(dataset):
    for i, data in enumerate(dataset):
        dataset.data[i] = ''.join(list(dataset[i].values()))
        dataset.data[i] = re.sub('\x02', '', dataset[i])
    return dataset

# 开始处理
test_dataset = data_preprocess(test_dataset)
dev_dataset = data_preprocess(dev_dataset)
train_dataset = data_preprocess(train_dataset)
print('处理后的单样本示例：%s'%test_dataset[0])

#加载分词器
from paddlenlp.transformers import BertTokenizer

bert_tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

后续好好学习下自然语言处理 — PaddleEdu documentation (paddlepedia.readthedocs.io)