好记性不如烂笔头

强化学习学习资料：PPT, Video1. Policy-based Approach1.1 使用NN作为Actor1.2 设计损失函数在开始设计RL的损失函数之前，我们先来回归一下监督学习中的损失函数。RL中常用的损失函数是total reward的期望值，另外，即便同一个actor在玩游戏，产生的序列也是不一样的，原因是由于游戏中的随机性。产生的不同序列的概率，计算方式如上。其中，只有与θ\thetaθ相关的，才受actor影响。reward的期望值，可以用N次游戏的rewa

学习资料：video, PPT1. 缘起面对的问题是什么？2. 有标签的情况2.1 分类问题如果能够收集到大量的有标签数据，直接训练一个二分类器，就可以结束了。但是，很多情况下是很难收集anomaly example的。对于有标签的情况，其中一种是对normal example可以分为C类，那么，可以训练一个分类器，将样本做C分类。对于normal example，被识别为某一类别的概率会非常高。对于anomaly example，被识别为某一类的概率会相对偏低。通过设置阈值λ\la

Graph Neural Network学习资料：video1, video2, PPT1. Roadmap2. Spatial-based在GNN中常用的术语，aggregate类似于CNN中的convolution，就是用周边节点的feature更新下一层的hidden feature。readout是把所有nodes的feature集合起来代表整个graph的feature。2.1 NN4G隐藏层feature的更新方法：（以v3v_3v3​后续的隐藏节点为例）第0层的feature

视频：https://www.youtube.com/watch?v=UYPa347-DdE&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61课件：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2019/Lecture/BERT%20(v3).pdf

视频：https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61&t=1s课件：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2019/Lecture/Transformer%20(v5).pdfTransformer是Seq2Seq with Self-attensionBERT是unsupervised

Seq2Seq视频：https://www.youtube.com/watch?v=ZjfjPzXw6og

视频：https://www.youtube.com/watch?v=xCGidAeyS4M课件：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf不是有3个Network，而是，同一个Network在不同的时间被使用了3次，这里，同样的weight使用相同的颜色表示。传说Jo...