Hinton
文章平均质量分 78
AI强仔
人工智能爱好者、机器人爱好者
展开
-
神经网络之父Hinton介绍及其论文介绍
1简介杰弗里·埃弗里斯特·辛顿(Geoffrey Everest Hinton),计算机学家、心理学家,被称为“神经网络之父”、“深度学习鼻祖”。他研究了使用神经网络进行机器学习、记忆、感知和符号处理的方法,并在这些领域发表了超过200篇论文。他是将(Backpropagation)反向传播算法引入多层神经网络训练的学者之一,他还联合发明了波尔兹曼机(Boltzmann machine)。他对于神经网络的其它贡献包括:分布特征(distributed representation)、时延神经网络、专家混合原创 2021-09-20 16:21:44 · 15518 阅读 · 0 评论 -
训练RBM-Hinton系列论文《A practical guide to training Restricted Boltzmann Machines》
目录1 简介 12 RBMs和对比散度的概览 13 当使用对比散度时如何收集统计信息 23.1 更新隐藏状态 23.2 更新可见状态 34 Mini-batch大小 35 监控学习的过程 36 监控过拟合 37 学习率 38 初始化权重和偏置 49 Momentum 410 权重衰减 411 鼓励稀疏的隐藏活跃 412 隐藏单元的数量 413 单元的不同类型 514 contrastive divergence变体 515 显示在学习中发生了什么 516 使用RBM进行识翻译 2021-09-26 22:47:56 · 628 阅读 · 0 评论 -
玻尔兹曼机的学习算法--Hinton论文系列《A learning algorithm for Boltzmann machines》
1 简介本文根据1985年Hinton等人写的《A learning algorithm for Boltzmann machines》翻译总结的。即玻尔兹曼机的学习算法。连接主义认为长期的知识是简单神经单元的连接。关于大脑结构的证据和新的大规模集成电路的潜力促进了连接主义的复兴。本文描述了一个并行约束满足网络,我们称作为玻尔兹曼机(Boltzmann machines)。它有能力学习潜在的约束,即通过域内样本学习到该域内特征。该网络修改连接的权重以构建一个内部生成模型,可以生成与样本相同概率分布的样翻译 2021-09-20 14:55:21 · 1620 阅读 · 0 评论 -
反向传播-Hinton论文系列《Learning representations by back-propagating errors》
1 简介本文根据1986年Hinton等人写的《Learning representations by back-propagating errors》翻译总结的。对于神经网络,我们描述了一个新的学习过程,反向传播(back-propagation)。其不同于感知机的方法。如果输入单元直接与输出单元相连,它是相对容易找到一个学习规则,即迭代调整连接的相关参数,以达到不断减少网络输出与预期输出直接的差距。但当我们引入隐藏单元时,学习将变得有趣但非常困难,因为这些隐藏单元的实际状态或者预期状态并不是为任务翻译 2021-09-08 22:37:20 · 2898 阅读 · 0 评论 -
wake-sleep算法-Hinton论文系列《To Recognize Shapes, First Learn to Generate Images》
1. 简介本文根据2006年10月26日Hinton的《To Recognize Shapes, First Learn to Generate Images》翻译总结。如题所述,为了很好的识别图片,需要先学习生成图片。主要是介绍了wake-sleep算法,该算法有两个通路,一个是从下到上的识别连接,一个是从上到下的生成连接。正如文章题目,为了很好的识别图片,需要先学习生成图片。2. 五种学习多层网络的策略多层学习就涉及中间特征,即隐藏单元的学习。2.1 拒绝(denial)策略如果假定只有一层翻译 2021-09-07 14:23:11 · 763 阅读 · 0 评论