- 博客(26)
- 资源 (2)
- 收藏
- 关注
原创 提取出bigrams和trigrams
if __name__ == '__main__': chars = ['大','家','好','我','是','一','名','普','通','大','学','生','。'] bigrams = lambda chars: [c1+c2 for c1,c2 in zip(chars, chars[1:] + ['<eos>'] )] trigrams = l...
2020-04-30 11:23:34 908
原创 预处理tencent词向量
#数据预处理,去除数字,只保留中文def load_tencent_word_embedding(input_file, output_file): n = 0 with open('tencent.txt', 'a', encoding='utf-8', errors='ignore') as w_f: with open('Tencent_AILab_Chin...
2020-04-27 16:09:38 514
原创 腾讯中文词向量
腾讯中文词向量,两个字–真香https://ai.tencent.com/ailab/nlp/data/Tencent_AILab_ChineseEmbedding.tar.gz
2020-04-27 12:41:40 2445 3
原创 定义一个可学习的参数,并初始化
一定不要忘记初始化,否则可能会出错!!!class NewMatrices(nn.Module):#[16, 1, 400]-->batch_size必须是16,若不满足,则丢弃 def __init__(self, batch_size, input_dim, output_dim, bias_dim=128, dropout=0.1): super(NewM...
2020-04-26 22:05:57 811
原创 在fastNLP框架中加入LSTM遇到的一个问题
Traceback (most recent call last):File “train_tener_cn.py”, line 176, in use_tqdm=True, print_every=300, save_path=None)File “/usr/local/lib/python3.6/dist-packages/fastNLP/core/trainer.py”, line ...
2020-04-26 15:29:08 650
原创 pytorch和tensorflow离线下载
https://download.pytorch.org/whl/torch_stable.html
2020-04-25 17:52:02 5244 1
转载 k 折交叉验证
转载于:https://zhuanlan.zhihu.com/p/98532085#k 折交叉验证(k-fold cross validation)静态的「留出法」对数据的划分方式比较敏感,有可能不同的划分方式得到了不同的模型。「k折交叉验证」是一种动态验证的方式,这种方式可以降低数据划分带来的影响。具体步骤如下:将数据集分为训练集和测试集,将测试集放在一边将训练集分为 k 份...
2020-04-24 11:25:10 544
原创 NER数据格式转化及数据集划分
记录一次做NER时的数据格式转换过程:1、将BMEWO–>BMESO–>BIOES2、将数据集按8:1:1划分为train、dev、test数据集划分方法借鉴:https://blog.csdn.net/allan2222/article/details/99672868import randomdef split(all_list, shuffle=False, ...
2020-04-23 20:49:03 2698
转载 python划分train、dev、test
数据格式:一行为一句话。import randomdef split(all_list, shuffle=False, ratio=0.5): num = len(all_list) offset = int(num * ratio) if num == 0 or offset < 1: return [], all_list if ...
2020-04-23 20:01:28 803
原创 位置编码的一种实现
位置编码的一种实现import torchimport mathif __name__ == '__main__': embedding_dim = 12 num_embeddings = 12 half_dim = embedding_dim // 2 emb = math.log(10000) / (half_dim - 1) # 1000...
2020-04-16 18:10:24 677
原创 python数组中的分号--简单使用
数组中的分号使用output[:2]=output[0]+output[1]output[2:]=output[2]+…+output[n]import torchif __name__ == '__main__': intent_logits = torch.tensor([1,2,3],dtype=torch.float) slot_logits = torch....
2020-04-15 20:30:13 1247
原创 统计NER中的实体标签
统计NER中的实体标签if __name__ == '__main__': with open('./data/resume/train/train.txt', 'r', encoding='utf-8') as f: # sum = 270 list = [] word_ = '' lines = f.readlin...
2020-04-15 19:01:00 385
原创 去掉文档最后的空格
if __name__ == '__main__': with open('./data/weibo/train/seq.in', 'r', encoding='utf-8') as f: lines = f.readlines()#获取所有行 sum = 0 list = [] for line in lines:#第i行...
2020-04-15 15:53:41 181
原创 修改数据集格式
修改数据集格式,但是每行最后有空格import randomif __name__ == '__main__': # name = './TREC/train.txt' with open('./data/weibo/dev/dev.txt', 'r', encoding='utf-8') as f: lines = f.readlines()#获取所有行...
2020-04-15 15:28:24 465
原创 python在txt文件中随机抽取样本
import randomif __name__ == '__main__': name = './data/trec/train.txt' with open(name, 'r', encoding='utf-8') as f: lines = f.readlines()#获取所有行 sum = 0 list = [] ...
2020-04-15 01:11:13 4913 2
原创 提取文档中每一行第一个空格前的内容作为关键字
if __name__ == '__main__': name = './data/train.txt' with open(name, 'r', encoding='utf-8') as f: lines = f.readlines()#获取所有行 sum = 0 list = [] for line in lin...
2020-04-15 00:48:23 1390
原创 torch.shape()三维矩阵降为二维
import torchif __name__ == '__main__': a = torch.tensor([ [ [1,2,3,2,1], [2,5,6,3,6] ], [ [2,1,5,9,8], [4,6,8,1,1] ] ],dty...
2020-04-15 00:01:32 8834
原创 pytorch的bert预训练模型下载
pytorch的bert预训练模型(pretrained_model_name_or_path),直接复制链接,迅雷下载PRETRAINED_VOCAB_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.tx...
2020-04-08 18:20:10 7700 2
原创 torch.cat()拼接两个矩阵
import torchif __name__ == '__main__': a = torch.tensor([[1,1,1], [2,2,2], [3,3,3]],dtype=torch.float) b = torch.tensor([[1,0,1], ...
2020-04-08 09:18:00 3950
原创 Bert的简单使用
简单使用了一下Bert,并输出对应的矩阵到文件中。import torchfrom transformers import BertConfig, BertModel, BertTokenizerdef bert_output(texts, name):#texts包含三句话 tokens, segments, input_masks =[], [], [] for t...
2020-04-07 20:19:48 483
转载 Argparse中action的可选参数store_true,store_false到底是什么意思?
store_true 是指触发action时为真,不触发则为假。parser.add_argument('-c', action='store_true')#store_true表示出现-c时,要执行-c操作python test.py -c => c是true(触发)python test.py => c是false(无触发)...
2020-04-07 17:47:28 6939 2
原创 torch.zeros() and torch.ones()
import torchif __name__ == '__main__': a = torch.zeros(3,2) print(a) b = torch.ones(12) print(b) result:tensor([[0., 0.], [0., 0.], [0., 0.]])tensor([1., 1...
2020-04-06 21:51:16 7857
原创 python中**的作用
def print_1(input_ids, attention_mask, token_type_ids, intent_label_ids, slot_labels_ids): print("input_ids:",input_ids) print("attention_mask:", attention_mask) print("token_type_ids:", t...
2020-04-06 21:29:33 727
转载 四种激励函数图像
import torchimport torch.nn.functional as Ffrom torch.autograd import Variableimport matplotlib.pyplot as pltif __name__ == '__main__': # fake data x = torch.linspace(-5, 5, 200) # x dat...
2020-04-06 21:23:01 1292
原创 利用unsqueeze做矩阵乘法
import torchif __name__ == '__main__': a = torch.FloatTensor([1,2,3]) b = torch.FloatTensor([4,5,6]) x = torch.unsqueeze(a,dim=1) y = torch.unsqueeze(b,dim=0) print(x) print(y...
2020-04-04 22:49:27 146
原创 torch二维矩阵相乘和对应位相乘
import torchif __name__ == '__main__': a_1 = torch.tensor([1, 2, 3, 4, 5]) b_1 = torch.tensor([1, 0, 1, 1, 0]) result1 = torch.mm(a_1,b_1)#此处会出错 result2 = torch.mul(a_1,b_1) pr...
2020-04-04 17:45:11 3353
【精品毕设推荐】-基于微信小程序的个人行政复议在线预约系统设计与实现.zip
2024-09-19
【精品毕设推荐】-基于微信小程序的个人健康数据管理系统设计与实现.zip
2024-09-19
【精品毕设推荐】-基于微信小程序的高校寻物平台设计与实现.zip
2024-09-19
数据结构-go-algorithm.zip
2024-09-19
【精品毕设推荐】-基于微信小程序的高校体育场管理系统设计与实现.zip
2024-09-19
【精品毕设推荐】-基于微信小程序的房屋租赁管理系统设计与实现.zip
2024-09-18
【精品毕设推荐】-基于微信小程序的儿童预防接种预约系统设计与实现.zip
2024-09-18
图像分类-Classification-By-ResNet.zip
2024-09-18
【精品毕设推荐】-基于微信小程序的订餐系统设计与实现.zip
2024-09-17
【精品毕设推荐】-基于微信小程序的电子商城购物平台设计与实现.zip
2024-09-17
【精品毕设推荐】-基于微信小程序的电子竞技信息交流平台设计与实现.zip
2024-09-13
基于微信小程序的电子购物系统设计与实现【程序员VIP专用】.zip
2024-09-13
【精品毕设推荐】-基于微信小程序的电影院订票选座小程序设计与实现.zip
2024-09-12
【精品毕设推荐】-基于微信小程序的电影院订票选座系统设计与实现.zip
2024-09-12
【精品毕设推荐】-基于微信小程序的大学生心理健康服务系统设计与实现.zip
2024-09-12
【精品毕设推荐】-基于微信小程序的大学生就业平台系统设计与实现.zip
2024-09-12
数据结构-JonsephCircle.zip
2024-09-12
算法-java-algorithm.zip
2024-09-12
【精品毕设推荐】-基于微信小程序的传染病防控宣传系统设计与实现.zip
2024-09-11
【精品毕设推荐】-基于微信小程序的宠物小程序设计与实现.zip
2024-09-11
【精品毕设推荐】-基于微信小程序的畅阅读系统设计与实现.zip
2024-09-03
【精品毕设推荐】-基于微信小程序的4S店客户管理系统设计与实现.zip
2024-09-03
大数据-HadoopLearning【程序员VIP专用】.zip
2024-09-03
【精品毕设推荐】-基于Vue.js的校园防疫微信小程序设计与实现.zip
2024-09-02
【精品毕设推荐】-基于h5的移动网赚项目小程序设计与实现.zip
2024-09-02
【精品毕设推荐】-基于Vue.js的在线购物系统设计与实现.zip
2024-09-01
【精品毕设推荐】-基于SSM+Vue的智慧城市实验室主页系统设计与实现.zip
2024-09-01
中秋主题H5-animate.zip
2024-08-31
安卓开发DevRing.zip
2024-08-31
【精品毕设推荐】基于javaEE的土地档案管理系统设计与实现.zip
2024-08-31
【精品毕设推荐】-基于SSM+Vue的游戏攻略网站系统设计与实现.zip
2024-08-31
【精品毕设推荐】-基于SSM+Vue的医院住院管理系统设计与实现.zip
2024-08-31
【精品毕设推荐】基于SSM+Vue的新能源汽车在线租赁管理系统设计与实现.zip
2024-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人