- 博客(4)
- 收藏
- 关注
原创 BertTokenizer如何添加token
BertTokenizer如何添加token 在实际情况中,我们可能需要往预训练模型中添加 token。例如下面的例子:tokenizer = BertTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext-large")model = BertModel.from_pretrained("hfl/chinese-roberta-wwm-ext-large")text = "c_1四处张望。"print(text)print(token
2021-09-28 15:22:40
3140
原创 RNN笔记
RNN一、我们为什么需要RNN1.从神经网络说起 从基础的神经网络中知道,神经网络包含输入层、隐层、输出层,通过激活函数控制输出,层与层之间通过权值连接。激活函数是事先确定好的,那么神经网络模型通过训练“学“到的东西就蕴含在“权值“中。我们称全连接的前馈神经网络为线性层或全连接层(FC),对应 pytorch 中的 nn.Linear。如下图就是一个经典的全连接神经网络: 对于表格数值数据,FC的效果不俗。现在我们来看自然语言数据。考虑如下的问题:给定一句话,判断这句话的情感是积极的 (Pos
2021-09-28 14:31:27
281
原创 DataWhale组队学习——GNN(2)
DataWhale组队学习——GNN(2)这里是DataWhale社区的21年6月组队学习之图神经网络的相关笔记!学习资料与代码:https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN目录:(待更新)0.导引1.简单图论知识与PyG库初探简单图论知识与PyG库初探一、简单图论知识1.1图的基本定义一个图可被记为一个三元组 G={V,E,Φ}\mathcal{G}=\{\mathcal{V}, \math
2021-06-16 19:29:30
285
原创 DataWhale组队学习——GNN(1)
DataWhale组队学习——GNN(1)这里是DataWhale社区的21年6月组队学习之图神经网络的相关笔记!开源代码:https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN目录:(待更新)0.导引1.简单图论知识与PyG库导引一、图神经网络与图深度学习图是一种数据结构,它对一组对象(节点)及其关系(边)建模。在过去的深度学习应用中,我们接触的数据形式主要是这四种:矩阵、张量、序列和时间序列,这些数据通
2021-06-15 21:46:28
268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人