Rainbow

文章目录torchvision.transforms作用：数据预处理方法，数据增强，提升泛化能力transforms.normalize：数据标准化， 加快模型收敛transforms.ToTensor()：归一化裁剪.CenterCrop：中心裁剪.RandomCrop：随机裁剪.RandomResizedCrop: 随机大小、长宽比裁剪图片FiveCrop: 在图片的左上角、左下角、右上角、右...

数据不平衡经常出现在分类问题上，数据不平衡指的是在数据集中不同类别的样本数量差距很大，比如，在病人是否得癌症的数据集上，可能绝大部分的样本类别都是健康的，只有极少部分样本类别是患病的。下面介绍几个常用的处理数据不平衡的方法：1、上采样SMOTE算法是一种简单有效的上采样方法，该方法类似KNN算法，首先给类别数量少的样本随机选择出几个近邻样本，并且在该样本与这些近邻样本的连线上随机采样，生成无重复的新的样本。2、下采样下采样是通过丢弃部分大类样本的方法，使得数据达到平衡状态。3、分类器评估指标在数

Data augumentation同义词替换：随机选取单词，使用 WordNet\NLTK\TextBlob API 查找同义词词嵌入替换：使用嵌入空间中最近的词替换（Gensim）import gensim.downloader as apimodel.most_similar('word', topn=5)masked语言模型使用mask预测的结果 生成文本的变体（难以保留句子的原意）基于IF-IDFIF-IDF中分数较低的单词是无意义的，可以进行替换回译（Bac

一般把网络中具有**可学习参数的层放在构造函数__init__()**中，不具有可学习参数的层(如ReLU)可放在构造函数中。

https://www.datalearner.com/blog/1051537860479157https://blog.csdn.net/qq_37430422/article/details/103638681模型的泛化能力通常使用模型在验证数据集（validation set）上的表现来评估。随着网络的优化，我们期望模型在训练集上的误差降低的时候，其在验证集上的误差表现不会变差。反之，当模型在训练集上表现很好，在验证集上表现很差的时候，我们认为模型出现了过拟合（overfitting）的情况

fgf

PYTHON指令代码运行指令CUDA_VISIBLE_DEVICES=1,2 nohup python train_demo.py --model proto_trans_encoder --hidden_size 768 --trainN 5 --encoder bert --pretrain_ckpt pretrain/bert-base-uncased --Q 5 --batch_size 1 --K 5 --N 5 --lr 1e-1 --train_iter 10000 > result

文章目录信息熵信息熵

文章目录资料：函数参数stride：步长zero-padding：图像四周填0dilation：控制 kernel 点之间的空间距离groups：分组卷积channel: 每个卷积层中卷积核的数量资料：https://blog.csdn.net/qq_34107425/article/details/104117670函数Conv1d：常用于文本数据的处理Conv2d：一般用于二维图像参数stride：步长zero-padding：图像四周填0dilation：控制 kernel 点之

dropout：防止过拟合典型的神经网络训练流程：将输入通过网络正向传导，而后将误差进行反向传播。Dropout针对这一过程，随机地删除隐藏层的部分单元。训练中，对于神经网络单元，按照一定的概率（若dropout=0.5，即以50%的概率移除，停止工作）暂时从网络中随机丢弃。训练中，对于神经网络单元，按照一定的概率暂时从网络中随机丢弃。步骤：3.1. 随机删除网络中的一些隐藏神经元，保持...

GAN生成器 generator：G判别器 discriminator：Dif G and D have enough capacity, they will reach a point at which both cannot improve because pg = pdata. The discriminator is unable to differentiate between t...

文章目录pip下载预训练的BERT模型启动BERT servicehttps://gitee.com/IndoorsNum31/bert-as-service?_from=gitee_searchpippip install bert-serving-server # serverpip install bert-serving-client # client如果装不上，则从网上下载安装包https://pypi.org/project/bert-serving-server/#files

神经元 neurons 1. 生物神经网络，通过刺激形成新的连接，信号通过新的连接传递而形成反馈。 人工神经网络，所有神经元之间的连接都是固定不可更换的，不可凭空产生新连接。 2. 依靠正向和反向传播，形成更好的神经系统。 3. 把神经元设计成三个维度： width, height, depth(描述神经元)。 eg. 输入图片大小32*32*3(rgb)...

代码：https://www.github.com/kyubyong/transformer文件集合hyperparams.pyprepro.pydata_load.pymodules.pytrain.pyeval.py关键步骤（德语-》英语）1. 定义超参数1.1 源语言、目标语言的训练数据和测试数据的路径1.2 batch大小（32）、初始learning rate（0....

文章目录原版GCN原版GATmyGATDPGN: Distribution Propagation Graph Network for Few-shot Learning原版GCNfull-batchtransductive learning: 训练阶段与测试阶段都基于同样的图结构（不能改变邻接矩阵adj）需要完整图结构资料：https://github.com/tk...

https://www.zhihu.com/question/338051122https://www.zhihu.com/question/346942899https://zhuanlan.zhihu.com/p/291230435GCN的缺点在于它灵活性差，transductive，并且扩展性非常差，除此之外这篇论文借助验证集来早停帮助性能提升，跟它半监督学习的初衷有点相悖。训练是full-batch的，难以扩展到大规模网络，并且收敛较慢。GraphSage论文旨在提升gcn扩展性和改进训练

数据集解析glove.5B.50d.jsonword to vector转换表训练集test.json与验证集val.json验证集分为两部分（***比例？？？***），以实现测试：sample a pair of input and standard output file from the validation set.格式解析file_name: Json file stori...

文章目录数据集官方数据集coraTHE DIRECTORY CONTAINS TWO FILESmini-batch思想GAT数据集官方数据集coraThe Cora dataset consists of Machine Learning papers.These papers are classified into one of the following seven clas...

文章目录Neo4jNeo4jNeo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上，而不是表中。数据保存为节点以及节点之间的关系。嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎。...

查看特定layer的权重以及相应的梯度信息打印模型观察到model下面有module的key，module下面有features的key， features下面有(0)的key，这样就可以直接打印出weight了在pdb debug界面输入p model.module.features[0].weight，就可以看到weight，输入 p model.module.features[0].weight.grad 就可以查看梯度信息。中间变量的梯度 : .register_hookpytor

CoreNLP enables users to derive linguistic annotations for text, including token and sentence boundaries, parts of speech, named entities, numeric and time values, dependency and constituency parses, coreference, sentiment, quote attributions, and relatio.

步骤找到所有的mention判断mention之间是否有共指关系数据集格式conllEnd-to-end Neural Coreference Resolution (Lee et al., EMNLP 2017)https://blog.csdn.net/Huang_cainiao/article/details/94597600有一个mention 为 mi​，然后它之前在文本中的所有mention 为 { m1, m2 , m3 … mj​} 注意( j < i), 通

命名实体识别（NER）是在自然语言处理中的一个经典问题，其应用也极为广泛。比如从一句话中识别出人名、地名，从电商的搜索中识别出产品的名字，识别药物名称等等。传统的公认比较好的处理算法是条件随机场（CRF），它是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。简单是说在NER中应用是，给定一系列的特征去预测每个词的标签。...

文章目录意义定义中文NER vs 英文NER任务目标常用模型中文基于字符Chinese NER Using Lattice LSTM意义NER是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。定义NER就是通过序列标注对实体边界和实体类别进行预测，从而识别和提取出相应的命名实体。中文NER vs 英文NER中文文本不同于英文文本，需要预先对其进行分词（基于字的方法），尽管分词工具有很多，但是分词效果不太可能是完美的。（易造成错误累

https://zhuanlan.zhihu.com/p/81467832在深度学习的背景下，为了达到更好的预测，常常会有两种方案：1. 使用过参数化的深度神经网络，这类网络学习能力非常强，因此往往加上一定的正则化策略(如dropout)；2. 集成模型(ensemble)，将许多弱的模型集成起来，往往可以实现较好的预测。这两种方案需要的计算量和计算资源很大，对部署非常不利。这也就是模型压缩的动机：我们希望有一个规模较小的模型，能达到和大模型一样或相当的结果。当然，从头训练一个小模型，从经验上看是很难达到

One-Hotword embedding将每一个单词映射为低维向量词的个数 = 词汇表向量的维度输入是词汇表向量，当看到一个训练样本时，对于样本中的每一个词，就把相应的在词汇表中出现的位置的值置为1，否则置为0。输出也是词汇表向量，对于训练样本的标签中的每一个词，就把相应的在词汇表中出现的位置的值置为1，否则置为0。对所有的样本，训练这个神经元网络。收敛之后，将从输入层到隐含...

https://blog.csdn.net/weixin_42137700/article/details/82107208https://zhuanlan.zhihu.com/p/46833276在实践中，由于数据集不够大，很少有人从头开始训练网络。常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。语言模型来辅助NLP任务已经得到了学术界较为广泛的探讨，通常有两种方式：feature-based（ELM

tf.contribtf.contrib.data.map_and_batch把map和batch混在一起并行处理dataset.apply(tf.contrib.data.map_and_batch())tf.contrib.tputf.contrib.tpu.RunConfigtpu_config=None, # TPUConfig(required by TPUEstimat...

tf.variable_scope VS tf.name_scopetf.variable_scope：让变量有相同的命名，包括tf.get_variable得到的变量，还有tf.Variable的变量tf.name_scope：让变量有相同的命名，只是限于tf.Variable的变量tf.constant VS tf.Variabletf.constant创建一个常量tensor，按照...

Optimizer: 基于对learning rate的改变tf.train.GradientDescentOptimizerGradientDescent: 取决于data size \ data的类型若只传入1/10的data =》SGD(一部分一部分的学习，更快学习到global minimal 的路径)AdagradOptimizerMomentumOptimizer不仅仅...

tf.Session()在TensorFlow的世界里，变量的定义和初始化是分开的，所有关于图变量的赋值和计算都要通过tf.Session的run来进行。想要将所有图变量进行集体初始化时应该使用tf.global_variables_initializer。session用于执行命令，对话控制。sess.run()用于执行某一个小图片上的功能。sess.run()feed_dict给使...

tf.gfile模块：文件操作基本操作该模块有两个类：FastGFile、Gfile`tf.gfile.Copy(oldpath, newpath, overwrite=False)tf.gfile.DeleteRecursively(dirname) 删除目录下所有内容tf.gfile.Exists(filename)tf.gfile.IsDirectory(dirname)tf...

tf.nntf.nn.dropouthttps://www.jianshu.com/p/c9f66bc8f96ctf.nn.dropout(x, keep_prob, noise_shape=None, seed=None,name=None)x:自己的训练、测试数据等keep_prob:dropout概率使输入tensor中某些元素变为0，其它没变0的元素变为原来的1/keep_pr...

tf.contrib.tpu.TPUEstimator：TPU上运行模型Estimator是tensorflow的模型级抽象层。标准Estimators可以在CPU和GPU上运行模型。维护可在 CPU/GPU 或 Cloud TPU 上运行的模型：最简单的方式是将模型的推理阶段（从输入到预测）定义在 model_fn 之外。确保 Estimator 设置和 model_fn 的单独实现，二者...

TF随机数tf.random_normal() 正态分布tf.truncated_normal() 截断的正态分布，偏离大于2倍标准差的数会被丢弃再重新选择tf.random_uniform() 均匀分布[min,max)tf.random_shuffle() 第一维随机排列tf.multinomial() 从输入数据value中随机剪切大小为size的部分数据tf.rand...

必须先构建（定义）graph，之后才能运行（启动）graph。tf.Graph两种用于运行计算图(graph)的会话(session)tf.Session()tf.InteractivesSession()tf.Session()fetch 取回feed 注入用途临时替代graph中任意操作的输入tensor对graph中任何op提交补丁（插入一个tensor）使用方式...

一般用在激活函数之前，使结果x=Wx+b 各个维度mean为0，variance为1。通过规范化让激活函数分布在线性区间，让每一层的输入有一个稳定的分布会有利于网络的训练。mean, variance = tf.nn.moments(x, axes, name=None, keep_dims=False) # 计算统计矩，mean 是一阶矩即均值，variance 则是二阶中心矩即方差，axe...

def my_image_filter(input_images): with tf.variable_scope(&quot;conv1&quot;): # Variables created here will be named &quot;conv1/weights&quot;, &quot;conv1/biases&quot;. relu1 = conv_relu(input_images, [5, 5,

torch.scatter(dim, index, src)scatter_: 直接修改原来的 TensorPyTorch 中，一般函数加下划线代表直接在原来的 Tensor 上修改参数dim：沿着哪个维度进行索引index：用来 scatter 的元素索引src：用来 scatter 的源元素，可以是一个标量或一个张量计算方式self[index[i][j]][j]=s...

https://blog.csdn.net/u012609509/article/details/81203436torch.nn专门为神经网络设计的模块化接口.nn构建于autograd之上，可以用来定义和运行神经网络。nn.Modulenn中十分重要的类，包含网络各层的定义及forward方法。定义自已的网络：需要继承nn.Module类，并实现forward方法。一般把网...