算法转载收藏【2018年及之前】

研究课题

Optimization

Reinforcement Learning

Predictive Learning, Curious Learning, Self Learning

  • 2017.03.25:为什么大家都不戳破深度学习的本质?!
    智能并没有人们想象的那么玄乎,它不过是一种「预测未来的能力」罢了。
    这些预测的实质,不过是「生物的应激性」在「生物自平衡机制」&「环境压力」下产生的副产品。
    智能的核心是某种「稳定不变的东西」。而这得益于大脑皮层同质的层级结构。

  • 2018-09-02: 学界 | 不设目标也能通关「马里奥」的AI算法,全靠好奇心学习
    Large-Scale Study of Curiosity-Driven Learning:
    强化学习算法依赖外在于智能体的工程环境奖励。但是,用手工设计的密集奖励来对每个环境进行标注的方式是不可扩展的,这就需要开发智能体的内在奖励函数。好奇心是一种利用预测误差作为奖励信号的内在奖励函数。在本文中:(a)对包括 Atari 游戏在内的 54 个标准基准环境进行了第一次大规模的纯好奇心驱动学习研究,即没有任何外在奖励。结果取得了惊艳的性能,并在许多游戏环境中,内在好奇心目标函数和手工设计的外在奖励高度一致。(b)研究了使用不同的特征空间计算预测误差的效果,表明随机特征对于许多流行的 RL 游戏基准来说已经足够了,但是学习特征似乎泛化能力更强 (例如迁移到《超级马里奥兄弟》中的新关卡)。(c)展示了随机设置中基于预测的奖励的局限性。

Unsupervised Learning

GAN

MCTS && AlphaGo

进化算法,EA

  • TBD

Attention Model (待写Blog)

ToRead:GNMT,Attention Is All You Need(Transformer)

  • Attention based model 是什么,它解决了什么问题?
    这里写图片描述
    在deep mind 的NIPS paper “Recurrent Models of Visual Attention ”中提出了一个非常有意思的模型。相比较于直接处理整张图片,我们其实只需要在每一个 time step 获取一个小patch就足够完成某个task(比如 digit recognition)。Agent 每次只需要选取一个小patch,并且将此patch的图片信息与location信息encode在一起,生成一个小模块称之为glimpse。这个glimpse又是RNN的当前输入,根据输出的hidden state 可以来做object recognition,并且同时用来预测下一个patch的位置。

  • Attention Model的CV论文整理 by cosmosshadow
    在这里插入图片描述

Hardware AI

Learning Rate & 超参优化

鞍点,Local Minima,Generalization

认知、类脑计算

  • 2016.5.1:《科学》封面论文作者力作:搭建像人一样思考和学习的机器(附论文下载)
  • 2016-09-25:桥接认知科学和强化学习第1部分:生成论
    行动是为了感知
    Alva Noë在他书中写的很深入,不仅仅是论述感知是为了行动。他提出了更激进的主张,那就是行动是为了感知。他所说的是,如果没有行动,就没有真正意义上对世界的体验。这本书阐述了行动怎样让感知成为可能。Noë指出,我们用眼睛所看到的图像,仅仅提供给我们了真实世界很小一部分的信息,这些信息并不符合我们体验世界的方式。碗在我们的视网膜上留下了椭圆形的印象。那这个椭圆的形状是怎么被认为是一个碗呢?为了回答这个问题,Noë引用了感觉运动的技巧,它可以让我们理解真实世界相对于我们本身和环境的改变方式。这是因为我们可以绕着碗移动,也可以转动碗,所以我们能了解它是椭圆形的。通过建立感觉运动的技巧,我们可以给原本毫无意义的世界赋予相应的意义。

计算机视觉算法集合

模型压缩

  • Acceleration and Model Compression List:https://handong1587.github.io/deep_learning/2015/10/09/acceleration-model-compression.html

AutoML

Training DL

Fast Convergence of Neural Network Training

比赛:DAWNBench:An End-to-End Deep Learning Benchmark and Competition

NLP

ASR

会议idea

分布式系统,非AI

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值