u010995990的博客

NLLLossNLLLoss的全称是Negative Log Likelihood Loss，也就是最大似然函数。在图片进行单标签分类时，【注意NLLLoss和CrossEntropyLoss都是用于单标签分类，而BCELoss和BECWithLogitsLoss都是使用与多标签分类。这里的多标签是指一个样本对应多个label.】假设输入m张图片，输出一个m*N的tensor,其中N是分类的个数，比如N为词表大小。比如，输入3张图片，分三类，最后的输出是一个3∗33*33∗3的tensor，举一个例子

我们可以使用一个kenlm的python包去训练一个语言模型，并对每个句子进行打分。安装kenlm:pip install https://github.com/kpu/kenlm/archive/master.zip训练语言模型首先下载语言数据，我们可以下载Bible数据：wget https://github.com/vchahun/notes/raw/data/bible/bible.en.txt.bz2然后创建一个process.py文件，对数据进行分词等预处理：import sy

有时我们想将两个文件按行合并。比如机器翻译中常用的source文件和target文件。这时我们可以使用paste -d命令进行合并，但是paste -d命令只能采取单个字符作为间隔符，如果我们想采用多个字符，如###做分隔符，我们可以使用/dev/null作为空文件，来实现这一目标。比如有file1和file2，那么如果我们想使用abc作为分隔符，那么我们可以使用如下的命令：paste -d abc file1 /dev/null /dev/null file2这个命令也等价于：paste -d

有时有的软件需要jdk8，有的需要jdk11，那么我们可以在本地配偶jdk8和jdk11并存的环境的。首先现在jdk11,下载地址：https://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_osx-x64_bin.tar.gz然后解压，解压后默认安装在/Library/Java/JavaVirtualMachines/下。下面就是实现jdk8和jdk11并存的方法，主要是修改~/.bash_profile的配置。原来的~/.bash_

我们先来了解下最小二乘的思想。**简单的来说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小。**这里的二乘指的是用平方来度量观测点与估计点之间的远近，最小则指的是参数的估计值要保证各个观测点与估计点之间的距离的平方和达到最小。一元线性回归假设我们的模型只有一维数据时，模型就是一条直线f(x)=ax+bf(x)=ax+bf(x)=ax+b，我们有mmm条训练数据，训练损失函数为误差平方和的平均数：L(a,b)=1m∑i=1m[(axi+b)−yi]2L(a,b) = \frac{1}{m

在shell编程里，要想生成一个动态的数组，可以使用seq命令；比如要生成一个从1，开始一直到10的等差数组：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传比如要生成一个从0开始，一直到1，间隔为0.01的等差数组：可以看到这里的间隔与python里的range函数不一样，将间隔放在了start和end中间。...

#! https://zhuanlan.zhihu.com/p/166385749SVM算法总结本文是看了几个博客后，写的总结笔记。SVM由线性分类开始给定一个训练样本集D={(x1,y1),(x2,y2),...,(xn,ym)},y∈{−1,1}D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_m)\}, y \in \{-1,1\}D={(x1​,y1​),(x2​,y2​),...,(xn​,ym​)},y∈{−1,1}.线性分类器基于训练样本DDD在二维空间中找到一个

当目标变量时分类变量时，常常使用Logistic Regression(LR）算法。例如：预测邮件是否为垃圾邮件（是垃圾邮件标记为1，否则为0）预测肿瘤是否为恶性的（是恶性的为1，否则为0）模型LR算法主要利用sigmoid函数，其图像如下：模型的输入是xi=(xi1,xi2,...,xim)x_i=(x^1_i,x^2_i,...,x^m_i)xi​=(xi1​,xi2​,...,xim​)，xix_ixi​是一个向量，其具体的计算方法如下：h(x)=11+e−z,z=θx+bh(x)

#! https://zhuanlan.zhihu.com/p/165489682对于经典的十大排序算法做了一个总结，并用java实现。下面是我们将要实现的排序算法：冒泡排序（Bubble sort）插入排序（insert sort）选择排序（selection sort）希尔排序（Shell sort）归并排序（merge sort）堆排序（Heapsort）快速排序（Quicksort）桶排序（Bucket Sort）计数排序（Count Sort）基数排序（Radix Sor

Jacobian矩阵和Hessian矩阵,以及牛顿法Jacobian矩阵在向量分析中，雅可比矩阵是一阶偏导数以一定方式排列成的矩阵，其行列式称为雅克比行列式。雅可比矩阵雅克比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此，雅克比矩阵类似于多元函数的导数假设F:Rn→RmF:R_n \rightarrow R_mF:Rn​→Rm​是一个从欧式nnn维空间转换到mmm维空间...

KKT条件KKT条件是非线性规划最佳解的必要条件，KKT条件将拉格朗日乘数法所处理的等式约束优化问题推广到不等式。等式约束优化问题给定一个目标函数f:Rn→Rf:R^n \rightarrow Rf:Rn→R，我们希望找到x∈Rnx \in R^nx∈Rn，在满足约束条件g(x)=0g(x)=0g(x)=0的前提下，使得f(x)有最小值，这个约束优化问题记为：min⁡f(x)s.t.g(x...

感知机原理感知机的原理及预备知识感知机是一个二分类的模型，它的输入是一个样本的特征向量，输出的是这个样本所属的类别，一般可以认为是一个二分类模型。感知机有一个假设默认成立，即认为数据集是线性可分的，因为感知机学习的目标就是寻找一个能够将训练集中正例和负例能够完全分开的超平面，注意这里只是找到一个能完全分离正负例的超平面，没有要求是最优的，所以感知机算法可以有多个解。这是由感知机算法的迭代过程...

拉格朗日对偶性在约束最优化的问题中，常常需要利用拉格朗日对偶性(Language duality)将原始问题转为对偶问题，通过解决对偶问题来得到原始问题的解。拉格朗日乘数法拉格朗日乘数法是用来求条件极值的，极值问题可以分为两类：求函数在给定区间上的极值，对自变量没有其他的要求，这种极值称为无条件极值。对自变量有一些附加的约束条件限制下的极值，称为条件极值比如给定椭球x2a2+y2b...

论文《Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation》阅读笔记论文来源：2019 NIPS论文主要贡献：提出了一种非监督方式的文本属性转换框架，通过改变文本属性分类器的属性来对latent representation【就是原始风格文本经过encoder部...

论文笔记《Paraphrase generation with latent bag of words》论文来源：2019 NIPS论文代码：https://github.com/FranxYao/dgm_latent_bow论文主要内容作者提出了一个a latent bag of words(BOW)模型来进行paraphrase生成。作者首先使用source word取预测他们自己的邻...

论文笔记《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》论文来源:2016 ACL论文主要贡献：提出了copy net机制，从source sentence中直接copy到target sentence中的网络模型结构论文主要内容CopyNet依然是一个encoder-decoder的框架。Encoder...

里面的参数分为可选参数和定位参数.包括action选择不同的默认值。 参考地址:https://blog.ixxoo.me/argparse.html

参考地址:https://www.jianshu.com/p/cde4a33fa129按照图中的代码敲一遍(注意view层的使用方法，以及最后计算参数数量的方式。) 参数数量的计算结果:

参考地址:https://blog.csdn.net/u012609509/article/details/70230204/注意其中dot乘积对于一维矩阵，也是按着对位相乘得到的。 element-wise的对位相乘实现方式有两种，分别是直接*和用np.multiply...

输入变量与输出变量均为连续变量的预测问题是回归问题； 输出变量为有限个离散变量的预测问题成为分类问题；其实回归问题和分类问题的本质一样，都是针对一个输入做出一个输出预测，其区别在于输出变量的类型。 分类问题是指，给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1），是一种定性输出，也叫离散变量预测； 回归问题是指，给定一个新的模式，根据训练集推断它所对应的输出值（实数）是...