10.12文章

1python执行顺序

普通语句逐行执行，自上而下。遇到赋值语句时，从右到左。函数的执行过程，从上往下，先执行函数名，不执行函数内部，只有函数被调用时才执行 。类的执行也是从上往下，但是类中存在很多魔法方法和普通方法，但是顺序是先执行__new__，再执行__init__，再执行普通方法，最后执行__del__ 

2写在类里面的变量是类属性。

3 def xxx（）类之外定义的是函数，def xxx（self）类之内定义的叫方法，def xxx（）静态方法不要写self，def xxx（cls）类方法写cls

 初始化方法 def __init__(self,yyy,xxx):self.yyy=yyy   self.xxx=xxx  self.xxx是实例属性，进行一个赋值操作，将局部变量的xxx赋值给实例属性。局部变量的作用域是从声明开始，到方法体结束。

3.1实例变量和局部变量的区别

1）实例变量是声明在类里面而不是在方法中。局部变量是声明在方法中的。

2）实例变量永远都有默认值；如果你没有明确的赋值给实例变量，实例变量还是会有值。

3）局部变量没有默认值；如果在局部变量被初始化前就要使用的话，编译器会显示错误

4创建对象（类的实例化）

 

 5调用对象属性和方法的两种方式

6随机数种子
深度学习网络模型中初始的权值参数通常都是初始化成随机数
而使用梯度下降法最终得到的局部最优解对于初始位置点的选择很敏感
为了能够完全复现作者的开源深度学习代码，随机种子的选择能够减少一定程度上
算法结果的随机性，也就是更接近于原始作者的结果
即产生随机种子意味着每次运行实验，产生的随机数都是相同的

but
在大多数情况下，即使设定了随机种子，仍然没有办法完全复现paper中所给出的模型性能，这是因为深度学习代码中除了产生随机数中带有随机性，其训练的过程中使用 mini-batch SGD或者优化算法进行训练时，本身就带有了随机性。
因为每次更新都是从训练数据集中随机采样出batch size个训练样本计算的平均梯度
作为当前step对于网络权值的更新值，所以即使提供了原始代码和随机种子，想要
复现作者paper中的性能也是非常困难的
 

 7one hot

one-hot编码就是把我们处理的文本用二进制进行表示，每个字的维度是字典的大小。但是现实生活中字典的大小非常大。为了解决这个问题，word2vec就诞生了。

近年来，神经网络得到了广泛的应用。大家都在尝试把神经网络应用在语言模型上。于是，基于神经网络的语言模型得到了应用。由于RNN固有的网络结构，使RNN在处理序列问题上具有较好的性能。

因此，基于RNN的Encoder-Decoder语言模型脱颖而出。

当输入维度较小的时候，会出现信息冗余，当输入较大的时候，会出现信息丢失的情况。

为了解决这个问题，注意力机制应运而生。