Cousera - Machine Learning for Neural Networks - 课程笔记 - Week 12

最新推荐文章于 2022-08-26 19:57:51 发布
最新推荐文章于 2022-08-26 19:57:51 发布
阅读量188 收藏
点赞数
分类专栏： Cousera-课程笔记 文章标签： 机器学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cary_leo/article/details/105898350
版权

Restricted Boltzmann machines (RBMs)

Boltzmann Machine Learning

  • 非监督学习算法
  • 学习目标：最大化玻耳兹曼机赋给各个二元向量的概率乘积（等价于对概率对数的和的最大化）
  • 目标等价：最大化如下操作产生的N个训练样例的概率
    • 在没有额外输入的情况下，网络稳定在N个不同的状态下
    • 每次采样出一个可视向量
  • 存在一个现象：一个权重的更新需要了解其他权重以及数据的相关信息
  • 一个事实：一个权重需要了解其他权重以及数据的信息包含在了两个相关系数的差值中：
    • KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲ ̲\log p(\bold v)…
    • 即导数等于当 v \bold v v为可视单元时的状态积期望与非 v \bold v v的情形下的状态积期望的差
    • Δ w ∝ ⟨ s i s j ⟩ d a t a − ⟨ s i s j ⟩ m o d e l \Delta w \propto \langle s_is_j \rangle_{data} - \langle s_is_j \rangle_{model} Δw∝⟨si​sj​⟩data​−⟨si​sj​⟩model​
  • 为何导数如此简单
    • 热平衡状态下，全局配置的概率是对其能量的指数函数
    • 因此概率对数即对能量的线性函数
    • 能量是对权重的线性函数：KaTeX parse error: Undefined control sequence: \part at position 8: -\frac{\̲p̲a̲r̲t̲ ̲E}{\part w_{ij}…
    • 将系统置到热平衡状态的过程将权重的信息传播开来，从而不需要反向传播
  • 过程的关键
    • 使用数据实现热平衡
    • 不使用数据实现热平衡
  • 收集需要的统计信息的高效方式
    • 正向阶段：将数据嵌入可视单元，隐藏单元随机设置
      • 一次更新一个隐藏单元，直到网络在1混淆度下达到热平衡
      • 对每一对连接单元采样 ⟨ s i s j ⟩ \langle s_is_j \rangle ⟨si​sj​⟩
      • 对所有数据完成一次，取平均
    • 负向阶段：将所有单元随即设置
      • 一次更新一个隐藏单元，直到网络在1混淆度下达到热平衡
      • 对每一对连接单元采样 ⟨ s i s j ⟩ \langle s_is_j \rangle ⟨si​sj​⟩
      • 重复足够多次，并取平均

More efficient ways to get the statistics

  • 高阶可选视频，只做理解，不作详细笔记

Restricted Boltzmann Machines

  • 受限玻尔兹曼机：隐藏单元之间没有连接
    • 在给定可视单元时，隐藏单元更容易达到热平衡状态
    • 隐藏单元的热平衡状态可以一步到位计算，因为其相互独立
  • RBM
    • 限制网络的连接性，使其推导和学习更加简单（单层五相互连接的隐藏层）
    • 同样，可视层的单元之间也没有连接
    • 当给定一组可视单元时，RBM可以一步达到热平衡状态（直接得到 < v i h j > v <v_ih_j>_{\bold v} <vi​hj​>v​，得以快速计算 p ( h j = 1 ) = 1 1 + e − ( b j + ∑ i ∈ v i s v i w i j ) p(h_j=1)=\frac 1 {1 + e^{-(b_j + \sum_{i \in vis}v_i w_{ij})}} p(hj​=1)=1+e−(bj​+∑i∈vis​vi​wij​)1​）
  • PCD：高效的面向RBM的mini-batch学习过程
    • 正向阶段：给定一个数据向量到可视单元
      • 计算每一对连接值 < v i h j > <v_ih_j> <vi​hj​>
      • 对每一个连接对，面向整个mini-batch的 < v i h j > <v_ih_j> <vi​hj​>值做平均
    • 负向阶段：保留一组“奇幻粒子”，每一个粒子具有一个全局配置的值
      • 使用交替的平行更新来更新每一个奇幻粒子数次
  • 一次重建：由t0时刻的可视单元预测隐藏单元，再由隐藏单元预测t1时刻的可视单元，由这个可视单元完成对隐藏单元的重建，即一次完整的重建
    • 权重的更新来自于两个时刻的状态： Δ w i j = ϵ ( < v i h j > 0 − < v i h j > 1 ) \Delta w_{ij} = \epsilon (<v_i h_j>^0 - <v_i h_j>^1) Δwij​=ϵ(<vi​hj​>0−<vi​hj​>1)

An example of RBM learning

RBMs for collaborative filtering

  • 协同过滤：根据用户对其他产品的喜好和其他用户对该产品的喜好预测用于对该产品的喜好
  • 将每一个用户视为一个训练样例
    • 一个用于有一个针对所有的电影的评分数据向量
    • 一个电影对应一个可视单元，面向用例softmax
  • 大约100个隐藏单元，每一个隐藏单元与全部电影对应的可视单元相连
  • 一些可视单元的值未知，需要模型将其填满
  • 如何避免部分评分不存在的情形：
    • 对每一个用户，使用一个RBM，只考虑包含评分的电影构成的向量（每一个用户的RBM类型都可能不同）
    • 每个用户的RBM可能不同，但是所有的RBM共享相同的隐藏单元
    • 因此每一个针对用户的RBM只有一个训练用例，但共享的隐藏单元让训练成为可能
支锦铭
关注
专栏目录
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 4982
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
Andrew Ng Machine Learning 专题【Neural Networks】下
IronYoung_不惧未来
09-13 3197
此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。 课程网址：https://www.coursera.org/learn/machine-learning/home/welcomeWeek 1: Introduction 笔记：http://bl
论文阅读 (69)：Collaborative Learning for Deep Neural Networks
因吉的博客
08-26 2226
为提高模型对标签噪声的泛化性和健壮性，在无需额外推理成本的情况下引入协作学习 (Collaborative learning)，其同一网络的多个分类器头在相同的训练数据上进行同步训练。它从辅助训练、多任务学习和知识蒸馏中获得优势。...
其他论文杂读
PeaceInMind的博客
06-15 903
未看或未总结 Secure Federated Transfer Learning Federated Learning of Deep Networks using Model Averaging CHIP: Channel-wise Disentangled Interpretation of Deep Convolutional Neural Networks Batch Norma...
《论文笔记》A Deep Learning Based Collaborative Neural Network Framework for Recommender System
weixin_41306220的博客
10-21 431
1、提出想法： 作者提出了传统协同过滤的一些缺点并列举了用深度学习来更好的发现深层次的交互特征。在本文中提出一种基于协同过滤的新型矩阵分解技术，采用深度学习来学习潜在特征并连接。使用两种不同的结构： 1、在矩阵分解之前先学习来自用户和项目的潜在特征 2、另一种是用前馈深度网络的多个阶段来学习项目和用户的潜在表示 我们发现多阶段联合学习表示深度神经网络，与单独学习用户和商品特征相比，可显着提高性能。...
论文阅读笔记 | (IJCAI 2018 Oral) Collaborative Learning for Weakly Supervised Object Detection
z止于至善的博客
05-15 2807
论文来自于上海交通大学，点击下载Abstract训练一个高准确率的检测模型需要大量精细标注的图片数据，其成本很高。本文提出了一种弱监督协同学习框架，仅使用粗略标签的图片训练目标检测模型，测试结果显示其定位精确率和检测准确率均显著优于目前最先进的方法。本论文提出了一种弱监督协同学习（WSCL）的框架，将弱监督学习网络和强监督学习网络连接成为一个整体网络，通过一致性损失（consistency los...
Machine-Learning
05-02
Coursera-Machine-Learning 编程作业代码，为 f_zyj 个人学习 Machine-Learning 过程中的代码与笔记。 machine-learning-ex1 Week 2 编程作业：Linear Regression（线性回归） 相关博客地址： machine-learning-ex2 ...
Machine Learning - Coursera 吴恩达机器学习教程 Week4 学习笔记
zhang35的博客
02-04 1263
背景 当目标函数非线性时（比如下图明显需要一条曲线），就需要增加高次项来获得曲线，当特征数量比较多时，增加高次项会使特征数量爆炸式增长。 比如图像识别问题，对50 * 50像素的图像，如果将每个像素作为特征，增加二次特征就会产生约3 * 10 ^ 6个特征（C22500 = 2500 * 2499 / 2） 这种情况下，若要使用普通逻辑回归学习所有特征，计算量就过大了。 此时用神经网络学习这种复杂的非线性假设函数，就比较合适了。 神经网络 首先学习几个术语： dendrite: 树突（输入） cell
第一课:Neural Networks and Deep Learning 第二周：编程作业 Logistic Regression with a Neural Network mindset
肖泽的博客
03-19 1381
第一课:Neural Networks and Deep Learning 第二周：编程作业 Logistic Regression with a Neural Network mindset Logistic Regression with a Neural Network mindset Welcome to your first (required) programming assignme...
吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（5-3）-- 序列模型和注意力机制
大树先生的博客
04-04 6014
序列模型 --- 序列模型和注意力机制
Collaborative Deep Learning for Recommender Systems
free356的博客
03-10 1432
本文思路整理如下： 一， Contribution二， 实验实际需求训练数据实验环境2.1本文模型模型训练模型输出2.2 实验结果《Collaborative Deep Learning for Recommender Systems》目的：采用分层贝叶斯CDL构建模型，将深度学习SDAE和协同过滤结合起来，从而得以更精准推荐。 论文信息：香港理工大学王灏博士。一，Contribution：1）C...
Cousera - Machine Learning for Neural Networks - 课程笔记 - Week 14
支锦铭的博客
05-04 187
Deep Neural Nets with Generative Pre-training Learning Layers of Features by Stacking RBMs 层叠RBM的训练 先训练一层RBM 然后将这一层RBM的激活值作为输入训练第二层RBM 不断叠加 称之为深度信念网络 最顶层仍然类似RBM 底层变成有向图，仅由隐藏层指向可视层 整体不再是玻尔兹曼机，因为...
Collaborative Learning for Weakly Supervised Object Detection 算法笔记
AI之路
07-21 6209
论文：Collaborative Learning forWeakly Supervised Object Detection 论文链接：https://arxiv.org/abs/1802.03531 弱监督目标检测（weakly supervised object detection）是指不需要框标注，仅通过图像级标签就能做目标检测。这方面的研究出发点主要是框标注的成本太高，而图像级标签相...
论文笔记之Learning Convolutional Neural Networks for Graphs
热门推荐
BVL的博客
12-06 1万+
本篇论文是2016ICML上的一篇论文，对于如何将cnn应用在graph上提供了一种新的思路。架构： 总体上讲，就是用w个固定size=（k+1）的子图来表示输入的graph，再将这w个子图正则化后,生成一个w(k+1)维的向量，作为传统的cnn的输入，进行学习。其实就是做了一个从graph到向量的映射的一个预处理过程。算法流程 输入：任意一张图 输出：每个channel输出w个recep
用深度学习（DNN）构建推荐系统 - Deep Neural Networks for YouTube Recommendations论文精读
__kingzone__的专栏
05-24 5644
用深度学习（DNN）构建推荐系统 - Deep Neural Networks for YouTube Recommendations论文精读清凇勇敢闯一闯292 人赞了该文章这篇论文 Deep Neural Networks for YouTube Recommendations 是google的YouTube团队在推荐系统上DNN方面的尝试，发表在16年9月的RecSys会议。虽然去年读过，一...
Collaborative Deep Learning
ChristineC_的博客
02-24 1049
作者：Hao Wang, Naiyan Wang, Dit-Yan Yeuing 时间：2015.06.18 Abstract: CDL是一个hierarchical Bayesian model，从content information中学到特征，从rating matrix中学到items、users之间的关系和相似度。文中使用SDAE（stacked denoising auto...
【DML】Deep Mutual Learning 深度相互学习，神经网络也可以协作
Joselynzhao
07-22 2593
Deep Mutual LearningAbstract1. Introduction2. Related WorkModel DistillationCollaborative Learning3. Deep Mutual Learning3.1. Formulation3.2. Optimisation3.3. Extension to Larger Student Cohorts3.4. Extension to Semi-supervised Learning5. Conclusion 论文：h.
Top 50机器学习项目实战总结
深度学习世界
02-06 1740
来源自人工智能头条（ID：AI_Thinker）整理 | 胡永波根据《纽约时报》的说法，“在硅谷招募机器学习工程师、数据科学家的情形，越来越像NFL选拔职业运动员，没有苛刻的训练很难上场了。”毕竟，高达124472美元的平均年薪可不是谁想挣就能挣到的。正如职业运动员每天都要训练一样，机器学习的日常练习也是工程师生涯得以大踏步前进的基本保障。仅2017年一年，机器学习领域总结此类实战经验的文章便已超
Researchers Use Phase-Functioned Neural Networks For Character Control
蛰伏--当你不够强大时，就不要放弃努力
05-05 1164
Researchers from the University of Edinburgh have developed a novel learning framework called a Phase-Functioned Neural Network (PFNN) that uses machine learning for character animation and other
meta-learning in neural networks: a survey
最新发布
04-06
b'meta-learning in neural networks: a survey'是一篇研究元学习在神经网络中应用的调查文章。元学习是指学习如何学习的能力，它可以帮助模型快速适应新任务和环境。文章介绍了当前元学习在神经网络中的研究进展和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值