闲来无事,给代码做一次归档

今天白天没什么事,就随便翻了翻项目代码,进入公司三年多来,大大小小的项目也做了不少,但除了个别正式立项的项目外,大部分的项目代码都没入库。

不是咱不想上交代码,公司都没给咱开项目库和代码库不是。这些小项目的代码都以最原始的方式备份着,也就是每个版本的代码通过压缩包的方式保存。这种方式也许在当时看来很方便,但随着代码版本增多,就会变得极其混乱,无法比较该代码究竟修改了那些,代码的追溯也做不了。既然公司没有开代码库,那咱就自己建个库来给代码归档。

给每个项目创建好代码库,按照开发的时间,逐个版本提交代码,打上Tag,发布Release包。忙碌了一个下午,完成了四个项目的归档工作。

看着干净整洁的代码库,说不出有多畅快!

2017年6月22日星期四

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer是一种用于自然语言处理的神经网络模型,它最早由Google提出,已经被广泛应用于机器翻译、文本分类、文本生成等任务中。Transformer模型采用自注意力机制(Self-Attention)来实现序列建模,大大减少了RNN模型的计算复杂度和训练时间,同时取得了更好的效果。 以下是使用PyTorch实现Transformer的代码: ```python import torch import torch.nn as nn class Transformer(nn.Module): def __init__(self, vocab_size, emb_size, nhead, nhid, nlayers, dropout=0.1): super(Transformer, self).__init__() # 词嵌入层 self.embedding = nn.Embedding(vocab_size, emb_size) # 编码器和解码器共用一个Transformer层 self.transformer_layer = nn.Transformer(d_model=emb_size, nhead=nhead, num_encoder_layers=nlayers, num_decoder_layers=nlayers, dim_feedforward=nhid, dropout=dropout) # 输出层 self.fc = nn.Linear(emb_size, vocab_size) def forward(self, src, tgt): # 将输入序列和目标序列分别通过词嵌入层得到词向量 src_emb = self.embedding(src) tgt_emb = self.embedding(tgt) # Transformer的输入要求是(seq_len, batch_size, emb_size) src_emb = src_emb.permute(1, 0, 2) tgt_emb = tgt_emb.permute(1, 0, 2) # 输入序列和目标序列共享编码器和解码器 output = self.transformer_layer(src_emb, tgt_emb) # 将输出通过全连接层得到最终的预测结果 output = self.fc(output.permute(1, 0, 2)) return output ``` 以上代码实现了一个简单的Transformer模型,包括词嵌入层、Transformer层和输出层。在forward函数中,将输入序列和目标序列通过词嵌入层得到词向量,然后分别转置维度,再输入到Transformer层中。最后将Transformer的输出通过全连接层得到最终的预测结果。 如果需要使用该模型进行训练,可以按照以下步骤进行: ```python # 定义超参数 vocab_size = 10000 emb_size = 256 nhead = 8 nhid = 512 nlayers = 6 dropout = 0.1 # 定义模型和损失函数 model = Transformer(vocab_size, emb_size, nhead, nhid, nlayers, dropout) criterion = nn.CrossEntropyLoss() # 定义优化器 optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 训练模型 for epoch in range(num_epochs): for i, (src, tgt) in enumerate(train_loader): optimizer.zero_grad() output = model(src, tgt[:, :-1]) loss = criterion(output.view(-1, vocab_size), tgt[:, 1:].contiguous().view(-1)) loss.backward() optimizer.step() print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item())) ``` 以上代码展示了使用交叉熵损失函数和Adam优化器对模型进行训练的过程。在每个epoch内,对训练集中的每个batch进行训练,并更新模型参数。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值