- 博客(10)
- 收藏
- 关注
原创 Auto-Augmentation 第一弹: Online Hyper-parameter Learning for Auto-Augmentation Strategy
Online Hyper-parameter Learning for Auto-Augmentation Strategymain contribution架构方法定义算法实验main contribution在线超参学习使用bilevel 框架 训练完不需要retrainOHL-Auto-Aug 和之前的算法相比很快(OHL-Auto-Aug achieves 60× faster on CIFAR-10 and 24× faster on ImageNet with comparable a
2021-02-26 05:15:42
642
原创 NAS 第一弹: DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
Neural Architecture Search神经结构搜索(Neural Architecture Search,简称NAS)是一种自动设计神经网络的技术,可以通过算法根据样本集自动设计出高性能的网络结构,在某些任务上甚至可以媲美人类专家的水准,甚至发现某些人类之前未曾提出的网络结构,这可以有效的降低神经网络的使用和实现成本。(自动化,最优)搜索空间定义了NAS算法可以搜索的神经网络的类型,同时也定义了如何描述神经网络结构。搜索策略定义了如何找到最优的网络结构,通常是一个迭代优化过程,本质上是
2021-02-26 00:13:49
359
原创 bert 简介
简介bert的大体结构就是transformer的encoder 模块。有两个块 一个就是训练 一个是fine tune。训练bert 是两个任务一块训练 - 语言模型任务和上下文的一对句子关系判断。语言模型任务在 BERT 中,Masked LM(Masked Language Model)构建了语言模型,简单来说,就是随机遮盖或替换一句话里面的任意字或词,然后让模型通过上下文预测那一个被遮盖或替换的部分,之后做 Loss 的时候也只计算被遮盖部分的 Loss,这其实是一个很容易理解的任务,
2021-02-07 06:58:36
515
原创 Transformer简介
Transformer是第一个完全依靠Self-attention而不使用序列对齐的RNN或卷积的方式来计算输入输出表示的转换模型。Self-attention有时候也被称为Intra-attention,是在单个句子不同位置上做的Attention,并得到序列的一个表示。它能够很好地应用到很多任务中,包括阅读理解、摘要、文本蕴涵,以及独立于任务的句子表示。端到端的网络一般都是基于循环注意力机制而不是序列对齐循环,并且已经有证据表明在简单语言问答和语言建模任务上表现很好。1 概览2 框架模型框架
2021-02-06 04:52:24
5057
1
原创 attention 简介
简介在序列编解码中RNN无法很好地学习到全局的结构信息,因为它本质是一个马尔科夫决策过程。CNN的方案也是很自然的,窗口式遍历,比如尺寸为3的卷积google 提出 attentionattention 过程:Reference:1.nlp中的Attention注意力机制+Transformer详解2.《Attention is All You Need》浅读3.(线性Attention的探索:Attention必须有个Softmax吗?)[https://kexue.fm/arc
2021-02-05 05:57:26
178
原创 条件随机场(CRF) 简介
简介CRF上面是马尔科夫随机场(马尔科夫网络),而条件随机场是在给定的随机变量X(具体,对应观测序列 O )条件下,随机变量 Y(具体,对应隐状态序列 I 的马尔科夫随机场。具体建模公式如下:对于CRF,可以为他定义两款特征函数:转移特征&状态特征。 我们将建模总公式展开:Z(O)是用来归一化的,为什么?想想LR以及softmax为何有归一化呢,一样的嘛,形成概率值。M个特征, T为长度.Learning Problem在这个问题中,问题具体就是用极大似然估计来求 CRF 模型的
2021-02-04 08:29:43
262
1
原创 MuZero第三弹
文章目录背景train network创建训练批次MuZero损失函数更新三个MuZero网络(update_weights)背景上一次,我们浏览了play_game函数,并看到了MuZero如何决定每个回合中的下一个最佳动作。我们还更详细地探讨了MCTS流程。在这篇文章中,我们将了解MuZero的训练过程,并了解其试图将损失函数减至最小的程度。我将总结为什么我认为MuZero是AI的重大进步及其对该领域未来的影响的总结。train network原始入口点函数的最后一行(还记得第1部分中的内.
2020-12-25 09:40:53
635
原创 MuZero第二弹
文章目录背景Playing a game with MuZero (play_game)背景上次,我们介绍了MuZero,并看到了它与AlphaZero有何不同。在没有国际象棋的规则实际,MUZERO CRE一个TES新游戏的脑子里面,它可以控制和使用该计划未来。一起优化了这三个网络(预测,动态和表示),以使在设想的环境中表现良好的策略在实际环境中也表现良好。在本文中,我们将play_game逐步介绍该功能,并查看MuZero如何决定每个转弯处的下一个最佳动作。在没有国际象棋的实际规则的情况下,.
2020-12-25 09:00:14
733
原创 MuZero第一弹
背景围棋和强化学习组合一直是比较惊艳。之前是有MCTS发挥了巨大的威力。DeepMind一篇关于MuZero的论文“Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model”在Nature发表。与AlphaZero相比,MuZero多了玩Atari的功能,并且不需要知道规则(对交互进行了抽象)这一突破进展引起科研人员的广泛关注。MuZero迈出了最终的下一步。MuZero不仅否认自己的人类策略可以学习。甚至没有显示游.
2020-12-25 08:02:35
3042
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人