qq_62434791的博客

之前的network只是一个函数，给一个输入，他给出一个输出。现在的这个输入有一个随机的东西拼接，导致了同样的输入有多种可能的输出。generator AND discriminator（发生器和鉴别器）第一步：发生器生成一些图片，鉴别器用来鉴别这些图片的相似处。二者是对抗的关系。第二步：调节generator，使得discriminator的分数输出的越大越好。第三步：反复执行找一组generator的参数，使得G*最小。

ReLU函数定义为：

Decoder这里不能单纯的用Self-attention，要用Masked Self-attention，因为语音识别输出的结果是一个一个输出的，而Self-attention是一下子全部同时输出的，输出每个bi都考虑了全部的ai，使用Masked Self-attention，由于语音输入的时候时现有a1再有a2、a3... ...所以他输出 b1时只考虑a1，输出b2时考虑a1a2，输出b3时考虑a1a2a3... ...有时候不需要生成什么，只需要复制什么东西，比如说人名。NAT怎么判断句子长度？

Sophisticated Input之前的输入一个向量输出一个数值，如果输入很复杂，比如输入的是一个句子，每个文字是一个向量表示的，那么每一次输入的都是未知长度的向量组。（用一个很长的向量表示每一个中文的汉字，n个维度向量可以表示2的n次方个汉字），一段音频可以看成一组向量。

CNN专门用在影像辨识方面。

Optimization Fails because local minima or saddle point（最佳匹配失败）

机器学习即找一个复杂的人类写不出来的函数，把输入（向量，矩阵，序列）转换为输出。regression：输出是一个数值（预测PM2.5的数值）classification：选择设置好的类别（是否为垃圾邮件）structured Lenrning：生成一个有结构的东西。

apple=10def function(x,y):#没有默认值的参数不能放在有默认值的参数的后面return x+ya=None# TODO global其实际上是函数实参和形参之间的桥梁，相当于传进去的就是这个全局的adef fun():global aa=20a=a+100return aprice=18#建立这个类的时候的初始化print(x*y)print(x/y)