讯飞汽车领域多语种迁移学习打卡博客

最新推荐文章于 2024-08-13 18:29:56 发布

犬系女

最新推荐文章于 2024-08-13 18:29:56 发布

阅读量273

点赞数

文章标签：迁移学习 python 分类

本文链接：https://blog.csdn.net/Linda_Zln/article/details/125498950

版权

任务1：报名比赛

步骤1：报名比赛2022 iFLYTEK A.I.开发者大赛-讯飞开放平台
步骤2：下载比赛数据（点击比赛页面的赛题数据）
步骤3：解压比赛数据，并使用pandas进行读取；
步骤4：查看训练集和测试集字段类型，并将数据读取代码写到博客；

import pandas as pd
import numpy as np


#任务一：读取数据
train_cn = pd.read_excel('data/中文_train.xlsx')
train_en = pd.read_excel('data/英文_train.xlsx')
train_jp = pd.read_excel('data/日语_train.xlsx')
test_jp = pd.read_excel('data/test_A.xlsx', sheet_name='日语_testA')
test_en = pd.read_excel('data/test_A.xlsx', sheet_name='英文_testA')

#查看数据
print(train_cn.head())

	原始文本	意图	槽值1	槽值2
0	16.5度	adjust_ac_temperature_to_number	offset:16.5	NaN
1	16度	adjust_ac_temperature_to_number	offset:16	NaN
2	16空调开到16度	adjust_ac_temperature_to_number	offset:16	NaN
3	16温度16度	adjust_ac_temperature_to_number	offset:16	NaN
4	17度	adjust_ac_temperature_to_number	offset:17	NaN

print(train_en.head())

	原始文本	中文翻译	意图	槽值1	槽值2
0	open aircon please	请打开空调	open_ac	NAN	NAN
1	I want to activate the AC	我想打开空调	open_ac	NAN	NAN
2	I want to turn on the air conditioner	我想打开空调	open_ac	NAN	NAN
3	switch on the AC please	请打开空调	open_ac	NAN	NAN
4	Help me open the AC	帮我打开空调	open_ac	NAN	NAN

print(train_jp.head())

	原始文本	中文翻译	意图	槽值1	槽值2
0	エアコンのスイッチONに	打开空调开关	open_ac	NAN	NAN
1	エアコン入れる	打开空调	open_ac	NAN	NAN
2	エアコンのスイッチを	打开空调开关	open_ac	NAN	NAN
3	エアコンのスイッチ入れる	打开空调开关	open_ac	NAN	NAN
4	エアコンのスイッチON	打开空调开关	open_ac	NAN	NAN

#查看测试集数据
print(test_jp.head())
print(test_en.head())

	原始文本
0	switch on the AC
1	air conditioner open
2	Turn on the AC please
3	I wanna switch on aircon please
4	Help me switch on aircon

任务2：文本分析与文本分词

步骤1：使用jieba对中文进行分词；

import jieba


def cutwords(txt):
    return jieba.lcut(txt)


train_cn['phrase'] = train_cn['原始文本'].apply(cutwords)
print(train_cn.head())

lcut 将返回的对象转化为list对象返回

步骤2：使用negisa对日语进行分词

import nagisa
def cutjpwords(txt):
    words = nagisa.tagging(txt)
    return words.words


train_jp['phrase'] = train_jp['原始文本'].apply(cutjpwords)

print(train_jp.head())