解读 《The Curious Case of Neural Text Degeneration 》 论文 笔记 解读 《The Curious Case of Neural Text **De**generation 》 论文 笔记
pytorch 使用 sort 函数排序 import torcha = torch.randn(3,4)print(a)print()i, idx = a.sort(dim=1, descending=True)print(i)print(idx)print()j, rank = idx.sort(dim=1)print(rank)结果：tensor([[ 2.3326, 0.0275, -0.0799, 0.4156], [-2.2066, 1.7997, -2.2767, 0.4704],
enumerate()使用方法 enumerate () 枚举的意思，是python内置的函数用法： enumerate（X，[start=0]）X可以是个迭代器 或者是一个序列，start是起始计数值，默认从0开始。list1 = [i for i in range(10) ]print(list1)for index ,num in enumerate(list1): print(index,num)################[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]0 01
pytorch之max()函数 用法：torch.max(input) → Tensor返回输入tensor中所有元素的最大值import torcha = torch.randn(1,3)prin(a)print(torch.max(a))######tensor([[-1.2492, -0.1698, 2.3036]])tensor(2.3036)形式： torch.max(input, dim, keepdim=False, out=None) -> (Tensor, LongTensor)torch
多头注意力机制 +代码解读 多头注意力机制总体描述这是原文的的图片，我们可以看到，Q，K，V 是三个固定值，分别通过一个Linear层进行映射，Linear层有3个，使用的注意力评分函数为Scaled Dot-Product Attentio ， 有3个代表有3个头，最后将每个头的输出Concat在一起，然后再通过一个Linear层映射成和单头一样的输出。每个头都是注意力，每个头筛选到的信息不同，信息更加丰富，有利于最终模型取得更好的效果代码详解在论文中，多头自注意力是将q，k，v线性映射h次，再进行h次自注意力操作，得到
linux 常见压缩命令 gzip#压缩[root@localhost tmp]# gzip wenjian#解压[root@localhost tmp]# gunzip wenjian.gz tar-z(gzip) 用gzip来压缩/解压缩文件-j(bzip2) 用bzip2来压缩/解压缩文件-v(verbose) 详细报告tar处理的文件信息-c(create) 创建新的档案文件-x(extract) 解压缩文件或目录-f(file) 使用档案文件或设备，这个
linux 下报错： NLTK Downloader raise LookupError(resource_not_found) 手动安装。 由于诸多原因，服务器不能上外网，可以上外网的话短短两句代码就可以搞定如下： import nltk nltk.download('punkt') ##punk是我缺少的文件不能上网，只有手动安装了，官网教程给的很详细。链接：跳转官网以linux为例，大概做法就是，先在指定的目录建立个文名为nltk_data的文件夹，建立的目录报错信息中就可以看到，如下所示。1、先下载nltk_data下载地址：https://github.com/wxfsd/nltk_data （600多M）
apex安装、解决ModuleNotFoundError: No module named ‘amp_C‘报错 简要说明：在论文代码复现的过程中，环境要求是要安装torch的版本是1.4.0 但是当安装好之后，会报错，提示你torch版本过低，要不然安装1.6以上，要不然安装 NVIDIA apex想都不用想，当然安装apex（害怕安装了高版本的torch会有其他错误，尽量避免）apex安装方法：git clone https://github.com/NVIDIA/apexcd apexpython3 setup.py install安装好之后运行代码，报错：ModuleNotFoundError:
Plan-And-Write: Towards Better Automatic Storytelling 文章链接：https://arxiv.org/pdf/1811.05701.pdf会议: AAAI 2019Abstract先是讲述之前的工作，要没实在情节规划方面做限制，要么是只能在狭窄的领域生成故事，最后提出自己的工作。We propose a plan-and-write hierarchical generation framework thatfirst plans a storyline, and then generates a story based on thestorylin
pandas 学习3（索引） 这次学习的是索引的相关内容一、索引器(1）表的列索引主通过列名从DataFrameDataFrame中取出相应的列，返回值类型为Series ， 上个代码。df = pd.read_csv('E:\\learn python\umpy&pandas\\learn_pandas.csv', usecols= ['School', 'Grade', 'Name', 'Gender','Weight', 'Transfer'])res = df['Nam
pandas学习笔记2 1、pandas读取文件以读取csv文件为例，发现电脑上有西瓜数据集就顺手用了。其他文件的读取类似不在举例子。import pandas as pdres = pd.read_csv('E:\\learn python\\Machine Learning\\3.0a.csv')print(res)结果TipS：header=None 表示不读取第一行忽略第一行，第一行通常是标题拿uci数据集为例。用法：这样写pd.read_csv('E:\\learn python\\Mac
pandas学习笔记（Datawhale组队学习） **啰嗦话：**我的研究方向是多智能强化学习，偶然间在gihub上看见了Datawhale的关于李宏毅老师的笔记简直发现了宝藏（哈哈哈），接下来参加第一次组队学习，废话不多下面是学习内容，（作为自己的笔记，防止以后忘了）1、 python基础说说实话python这块还是比较熟悉哈哈哈，但是还是学习一下吧。1.1列表与赋值老规矩直接上代码L = []def my_func(x): return 2*xfor i in range(5): L.append(my_func(i))
TensorFlow与深度学习——张量排序 TensorFlow与深度学习——张量排序一、 tf.sort / argsorttf中内置sort和argsort函数，sort用于排序升序，argsort返回排序之后各个元素所在的位置信息，默认也是升序排序。下边是代码：##列表排序a= tf.random.shuffle(tf.range(5)) ##[0 2 3 4 1]b = tf.sort(a,direction='DESCENDING')#print(b)# tf.Tensor([4 3 2 1 0], shape=(5,), dt
关注
