weixin_43780551的博客

原创 对prototypical networks的总结

原创 论文笔记4-3

Improving Relation Extraction with Knowledge-attentionattention方法已经被证明有效，但是现在的attetion方法都是数据驱动的本文提出了，吸收外部知识的attention模型，prior knowledge。前人工作 ， 基于深度学习的神经网络可以获取更多的语义信息，比起特征方法纯基于attention的模型，比起rnn效果更...

原创 输入法（纯手写）

def main(p2hzfile,profile): p2hz = {} ngramprob = {} pyinit(p2hz , p2hzfile) ngraminit(ngramprob , profile) while 1: pinyin = input("请输入") if pinyin == 'q': ...

原创 凸优化学习资料

凸优化那么凸集是什么呢凸函数凸优化线性回归学习资料求解一个一般性的最优化问题的全局极小值是非常困难的，至少要面临的问题是：函数可能有多个局部极值点，另外还有鞍点问题。对于第一个问题，我们找到了一个梯度为0的点，它是极值点，但不是全局极值，如果一个问题有多个局部极值，则我们要把所有局部极值找出来，然后比较，得到全局极值，这非常困难，而且计算成本相当高。第二个问题更严重，我们找到了梯度为0的点，但它...

原创 论文笔记3-20

Human-level concept learning through probabilistic program induction人类理解概念的能力比计算机要高很多，即使计算机现在有了很强的识别能力，但是对于一个新的概念仍然需要重新训练概念被表示为简单的概率程序，即以抽象描述语言表示为结构化过程的概率生成模型在本文中，用手写字符来表示概念，一个字符可以被表示为他的子部分和之间的空间关...

原创 论文笔记3-20

One-Shot Unsupervised Cross Domain Translation给定来自域A的单个图像x和来自域B的一组图像，任务是在B中生成x的相似物。在第二阶段中，将变异型自动编码器克隆，以创建两个副本，它们共享编码器的顶层和解码器的底层，一个副本用于B中的样本，从第一步开始，来自域B的样本将继续训练自己的副本，同时更新共享层和非共享层。 样本x的渐变仅更新未共享的图层，...

原创 机器学习之候选消除算法

from collections import defaultdictfrom copy import deepcopytopic = ['Sky', 'AirTemp', 'Humidity', 'Wind', 'Water', 'Forecast']S = defaultdict(list) # most special 极大特殊S[topic[0]].append('X')S[...

原创 论文笔记3-12.2

论文标题CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION原型网络分为两部分，E编码器和M度量函数，对于跨领域小样本分类来说，编码器不能在度量空间中把他们分得很开。本文的解决方法是在编码器的最后加入一层变换层，如图所示将经过特征转换的中间特征激活集成到特征方法转换中，以集成到特征编码器E中...

原创 论文笔记3-12

论文标题FEW-SHOT TEXT CLASSIFICATION WITH DISTRIBUTIONAL SIGNATURES这篇文章是一片用到了元学习来处理问题的文章，文章中提到了关于预训练阶段，一些底层模式可以被共享，这在计算机视觉中比较明显，例如底层的边缘检测等，但是对于文本处理，在一类任务中起到重要作用的单词，可能在另一类任务中就不那么重要了比如在医药领域，可能sleep是一个很重要的...

原创 对语言处理预训练的总结2-26

语言模型比如一句话 I want to study，那么用概率表示这句话的概率就是P(I)P(want|I)P(to|I want)P(study|I want to)如果希望这个概率最大，就可以训练了word2vec有两种方法CBOW和Skip-gramCBOW类似完形填空从一句话中扣掉一个单词其中有个窗口值window ，被扣掉的词叫中心词，中心词为中心，范围为window的所有...

原创 代码练习2-26

assert ‘ptb.train.txt’ in os.listdir("./data/ptb")with open(’./data/ptb/ptb.train.txt’, ‘r’) as f:lines = f.readlines()raw_dataset = [st.split() for st in lines]counter = collections.Counter([tk f...