发呆的比目鱼的博客

分子数据前期清洗流程

关于少样本Transformer微调的稳定性Introduction微调 Transformer 模型往往表现出训练不稳定。即使具有相同的超参数值（学习率、批量大小等），不同的随机种子也会导致截然不同的结果。这个问题更加明显，尤其是在小数据集上使用大型Transformer时。本notebook将深入探讨少样本微调优化过程和技术的不同方面。目标是更好地理解我们必须处理一些样本微调问题的不同补救措施。Problem自 BERT 引入以来，Transformer 微调过程的不稳定性就已为人所知，从那时

超参数优化专题之工具

超参数优化专题之工具—microsoft/nni（1）

基于scrapyd + scrapydweb 的可视化部署部署组件概览该部署方式适用于 scrapy项目、scrapy-redis的分布式爬虫项目需要安装的组件有：　 1、scrapyd 服务端 【运行打包后的爬虫代码】（所有的爬虫机器都要安装）　　2、logparser 服务端 【解析爬虫日志，配合scraoydweb做实时分析和可视化呈现】（所有的爬虫机器都要安装）　　3、scrapyd-client 客户端 【将本地的爬虫代码打包成 egg 文件】（只要本地开发机安装即可）　

YAML加载参数data_arguments: task_name: translatemodel_arguments: hidden_size: 100training_arguments: train_range: 0.95python加载参数 # pip install pyyaml=5.3.1 f = open("houchang/01_abstract/03_seq2seq_att/config.yml", "r") a = yaml.load(f)

jieba基础分词# 精确模式 试图将语句最精确的切分，不存在冗余数据，适合做文本分析seg_str='上海自来水厂生产的自来水来自海上'jieba.lcut(seg_str)#全模式将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据jieba.lcut(seg_str,cut_all=True)# 搜索引擎模式：在精确模式的基础上，对长词再次进行切分jieba.lcut_for_search(seg_str)添加词语# 手动添加jieba.add_word(wor

Transformer简版实战教程至于Transformer的理论内容可以参考Transformer 与 Attention和Transformer 与 Attention的一些Trick本文主要实战， 这是一个简单版本的Transformer实现，也便于大家理解。准备需要准备的是翻译的语料集sentences以及模型参数src_vocab-输入词表， tgt_vocab目标词表，src_len 和tgt_len是句子的最大长度，d_model是hidden_size维度大小， d_ff是前馈网络

ELMO模型实战-命名实体识别数据处理import numpy as npimport torchimport os# shared global variables to be imported from model alsoUNK = "$UNK$"NUM = "$NUM$"NONE = "O"# special error messageclass MyIOError(Exception): def __init__(self, filename): #

WORD2VEC-使用GLOVE训练中文词向量准备语料语料预处理去停用词去除所有标点符号 ?!@#$%^&*()~`,./|重音字过滤掉频率低的单词处理数字 每个数字都替换为 #number单词转小写如下图：训练语料从GitHub下载代码将语料xxx.txt放入到Glove的主文件夹下。git clone https://github.com/stanfordnlp/GloVe修改代码修改demo.sh脚本注释下载test.zip的语料脚本修改训练参数

torchserve部署模型docker版本不能太低，我装的19.03.13下载项目文件git clone https://github.com/pytorch/serve.gitcd serve/docker构建docker image（cpu版本）DOCKER_BUILDKIT=1 docker build --file Dockerfile -t torchserve:latest .或者docker pull pytorch/torchserve:latest可用所有tags