INGg__的博客

我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分给多少输出多少给一堆向量，输出一个label，比如说情感分析还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，翻译也是。

丢弃法是在深度学习中很重要的一个方法，能够等价与加入噪音使得模型更具有鲁棒性。但是我们加入这个“噪音”要希望加入之后的期望与原数据是相同的，即。等价于每次随机的消失神经元。

我们通过获取更多的数据来缓解过拟合，或者我们可以使用正则化技术来使得模型容量得以限制本质上权重衰退就是L2正则化，通过函数与0的距离来衡量函数的复杂度我们通过引入系数λ来作为超参数来控制正则项的重要程度等价于minlwb2λ​∣∣w∣∣2，这里的w是向量超参数λ越大，w∗越趋向于0，控制的程度越高这里引入图片来展示正则项的影响其实乍一看这个图片看不大懂的，这里的我们假设现在的w只有两个分量w1和w2，分别为x轴和y轴。

本质上，我的理解对于模型选择来说就是在一个合适的模型下训练出来一个合适的参数来使得模型能够带来一个在模型没有的数据上得到一个比较好的结果。说的简单一点就是，别过拟合也别欠拟合，在测试集上的误差能够在合理的能接受的范围之内。

感知机形象的来看就是我们接触过的一个只有两个部分组成（输出和输入）组成的最简单的神经网络之一。给定输入x，权重w和偏移b以及一个感知函数，感知机就能输出：这个函数可以形象的用作二分类问题，o输出几就可以把他作为哪个类但是单层感知机有一个很大的局限性就是——它只能解决线性可分的问题，也就是在超平面上只能构成一条线来区分数据异或问题，也就是XOR问题就是非线性可分的问题，为了解决它，引出了多层感知机。

回归是估计一个连续值分类是预测一个离散类别与回归的图相比，多出来的输出相当于也是一个连续的值，只不过是一个概率，来确定这个当前这个样本可能是什么类别的数据本质上，也是直观上，当得到一个预测值最大的那个类别概率那么这个样本是这个概率的可能性也肯定是最大的，我们也就可以形象的认为这个样本在当前他所属的特征下他应该是属于预测出来可能性最大的样本。要将我们的输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。softmax就是我们常用的一个函数。

n维输入xx1​x2​xn​T直观的描述就是数据集中的各种特征就是输入，就是每一行中除了标签的属性（特征）线性模型中对每个输入也有相应的权重和偏差ww1​w2​wn​Tb本质上来说，w对应的就是每个输入特征的重要性，这也是线性模型能够做特征重要性排序以及特征重要性筛选的一个重要考察特征结合起来的输出就是yw1​x1​w2​x2​⋯wn​xn​y=<wxb同时能够把线性模型看成单层神经网络。

实质上就是一个点或者说是一个零维的ndarary。

简单来说按照我的理解来说，pytorch中的ndarry也就是terson，就是我们在numpy中常用的ndarry，两者的区别不大但是在底层实现和优化上可能有很大的不同。

选择在ubuntu进行安装的原因是我本机的win系统环境变量装的有点多，在尝试装d2l这个包的时候总是安装不上，最终决定在我常用的虚拟机上来进行安装学习运行。