- 博客(2)
- 收藏
- 关注
RSS订阅原创 Datawhale AI 夏令营 task2 个人学习笔记
torchtext:用于自然语言处理任务,提供数据预处理、词汇构建等功能。- 统一格式,如转换为小写,标准化日期、数字等。- 调整模型参数,如增加层数、改变隐藏单元数等。- 去除无关信息,如HTML标签、特殊字符等。- 初始化模型,加载预训练词向量或随机初始化。- 使用不同的数据增强策略,提高泛化能力。- 定义模型参数,如层数、隐藏单元数等。- 使用预训练词向量或自己训练词向量。- 选择优化器,如SGD、Adam等。- 模型压缩:减少模型大小,提高运行效率。- 模型解释性:确保模型的决策过程可解释。
2024-07-17 20:09:38
210
原创 Datawhale AI 夏令营 task2 学习笔记
**词汇表构建**：从训练数据中收集所有出现过的词汇，构建词汇表，并为每个词分配一个唯一的索引。- **词向量**：使用预训练的词向量或自己训练词向量，将词汇表中的词映射到高维空间中的向量。- **序列填充**：将所有序列填充至相同的长度，通常使用`<PAD>`标记填充。- **序列开始和结束标记**：在序列两端添加`<SOS>`和`<EOS>`标记。- **序列截断**：限制输入序列的长度，避免过长的序列增加计算成本。- **未知词标记**：为不在词汇表中的词添加`<UNK>`标记。
2024-07-17 18:32:52
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人