![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
每天一个知识点
为了让自己坚持听一下李宏毅老师的课程。。写的不好。。就。。给自己看的
G8_xixi
这个作者很懒,什么都没留下…
展开
-
声音辨识Speech Recognition
文章目录Speech Recognitioninputcharacterword词UTF-8其他比如直接word-embeddingsummryoutputwindow,frameHow much data do we need?summry常用模型reviewSpeech Recognitioninputcharacterword词UTF-8其他比如直接word-embeddingsummryoutputwindow,frameHow much data do we nee原创 2020-08-08 07:16:30 · 337 阅读 · 0 评论 -
Overview_深度学习与人类语言处理
AdversarialAttack:加噪音,比如QAwhy提问的都加上:because I want to …原创 2020-08-05 13:59:33 · 139 阅读 · 0 评论 -
Network Compression
Network Pruning:剪掉神经元Knowledge Distillation小模型模拟大模型Parameter Quantization改变参数表示根据 最近的二元weights的network的更新方向来决定Architecture Design调整网络架构Dynamic Compution动态选择模型...原创 2020-07-31 12:17:25 · 281 阅读 · 0 评论 -
Anomaly Detection不知为不知
带label训练分类器,加置信分数无label 最大似然计算概率作为置信分数其他方法不能直接用Binary Classification?不是类A(宝可梦)的东西太多了,不太可能找到异常资料(类B)的分布收集异常数据比较困难...原创 2020-07-30 14:39:06 · 148 阅读 · 0 评论 -
Attack and Defense
Attack加额外条件!改训练方法!举例FGSM黑盒attack与universal attack 与语音文本attack 与attack后的任务切换黑盒attack再训练一个network架构即可为什么会有attackDefensepassive:更改attack的图片proactive:更改网络参数...原创 2020-07-29 16:02:34 · 159 阅读 · 0 评论 -
Expainable ML
Local & Global explanationInterpretable vs. Powerful用一个modelA解释(模拟结果)另一个modelBLinear模拟DNN——LIME(local explanation)decision-tree原创 2020-07-29 16:02:52 · 55 阅读 · 0 评论 -
life-long learning (LLL)
提出问题LLL:一个model做个task,主要需要解决的问题是多个问题之间参数灾难性遗忘的问题,-> 如何迭代更新参数transfer learning:只需要在task2上做好,task1不管了Knowledge RetentionEvaluationModel expansion任务太多,model已经到了极限 -> 自动扩大model大小,生成新的神经元出来 -> 保持参数有效率扩张希望model扩张速度比新的任务增长速度慢一个idea任务学习的顺序也很重原创 2020-07-29 16:02:43 · 125 阅读 · 0 评论 -
word2vec meta-learning(少量数据快速学习/你以为我在第一层,其实我在第二层)
7.23 理解word2vec,并对比Auto-encoder https://www.jianshu.com/p/471d9bfbd72fAuto Encoder的具体架构、适用的向量2(文字/图片)、应用2(pre-train DNN/句级表示)word2vec想要得到的是权重WV∗NW_{V*N}WV∗N,以CBOW为例:上下文预测中心词,CCC个VVV向量作为输入,经过WV∗NW_{V*N}WV∗N得到C∗VC*VC∗V再相加求平均得到1∗V1*V1∗V,再经过decodeWN∗原创 2020-07-29 16:02:25 · 140 阅读 · 0 评论