机器学习_西瓜书_C5神经网络

已于 2022-07-24 23:46:39 修改
阅读量315 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 神经网络
于 2022-07-24 23:43:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d1596324/article/details/125927025
版权

目录

5.1 神经网络 neural network

原理

流程

激活函数 activation function

5.2 分类

感知机 Perception 

单层(w/o 隐含层)

多层(with 隐含层hidden layer)

误差逆传播(BP) error BackPropagation

全局最小(global minimum) vs 局部极小(local minimum)

其它神经网络

径向基函数 RBF网络 (radial basis function) 单隐层, 前馈神经网络

自适应谐振理论 ART网络 (adaptive resonance theory) 竞争型学习, 结构自适应网络

自组织映射 SOM网络 (self-organizing map) 竞争型学习

级联相关网络 (cascade-correlation) 结构自适应网络(可调整)

Elamn网络 递归神经网络

Boltzman机 递归神经网络

5.3 深度学习Deep ~/特征学习Feature ~/表示学习Representation ~

目标

方法

TASK4 学习心得

5.1 神经网络 neural network

原理

神经元neuron"兴奋"时超过阈值threshold被激活, 向其它神经元传递信号.

流程

  1. 输入: i个x加权
  2. 处理: if 激活函数Σwx > threshold
  3. 输出: y = f(Σwx - θ)

激活函数 activation function

  • (×) 阶跃函数: 非连续, 不光滑 y = 0 or 1
  • (√) sigmoid函数(squashing f): 连续, 光滑 y∈[0,1]

5.2 分类

  • M-P模型 (本章重点介绍)
    • 感知机
    • 误差逆传播
  • 径向基函数 RBF网络 (radial basis function)
  • 自适应谐振理论 ART网络 (adaptive resonance theory)
  • 自组织映射 SOM网络 (self-organizing map)
  • 级联相关网络 (cascade-correlation)
  • 递归神经网络-Elamn网络 (recurrent neural network)
  • 基于能量模型-Boltzman机 (energy-based model)

感知机 Perception 

单层(w/o 隐含层)

输入层: 传递signal

输出层: M-P神经元(阈值逻辑单元threshold logic unit)

线性可分(linearly separable): 学习过程一定会收敛converge, 从而得到w权向量

与AND (x1∧x2), w1=w2=1, θ=2, y=(w1x1+w2x2-θ)=(x1+x2-2)→当且仅当x1=x2=1时,y=1

或OR (x1∨x2), w1=w2=1, θ=0.5, y=(w1x1+w2x2-θ)=(x1+x2-0.5)→当x1=1或x2=1时,y=1

非NOT (¬1), w1=-0.6, w2=0, θ=-0.5, y=(w1x1+w2x2-θ)=(-0.6x1+0.5)→当x1=1时y=0, x1=0时y=1

可将阈值θ视为固定值-1.0的哑结点dummy node, 使阈值θ和权重w的学习→仅对权重w的学习

w_i = w_i + Δw 预测正确Δ=0, w_i不变

Δw_i = η * ( y - y_hat ) * x_i 学习率learning rate(η)

线性不可分: 学习过程会震荡fluctuation, 不能求得合适解 → 考虑多层

多层(with 隐含层hidden layer)

多层前馈神经网络multi-layer feedforward 前馈指的是不存在loop or return

  1. 输入层: only input, NO process
  2. 隐含层: process 包含功能神经元
  3. 输出层: process+output 包含功能神经元

误差逆传播(BP) error BackPropagation

适用: 多层前馈神经网络(most), 递归神经网络

 

标准BP: 随机梯度下降 stochastic ~

MIN(single error) → 迭代 → SUM

优:下降快,适合big dataset

缺: 迭代频繁

累积BP: 标准梯度下降

MIN(SUM error)

优:迭代少

缺:一定程度后下降缓慢, 建议改为标准BP

How to set hidden layer?

Trial-by-error 试错法

How to avoid overfitting? 

  1. Early stopping: D=训练集+验证集, if error训练↓, error验证↑, then STOP
  2. Regularization: use λ∈(0,1) to reconcile 检验误差&网络复杂度, 常用交叉验证法估计

全局最小(global minimum) vs 局部极小(local minimum)

Solution

  • 改起点: 以多组不同参数开始
  • 改中点: 模拟退火(simulated annealing) 每一步接收次优解
  • 改方法: 随机梯度下降 → final slope≠0 → continue
  • 遗传算法(genetic algorithm)

其它神经网络

径向基函数 RBF网络 (radial basis function) 单隐层, 前馈神经网络

步骤

  1. 确定神经元中心 by 随机采样, 聚类;
  2. 确定参数 w, β

自适应谐振理论 ART网络 (adaptive resonance theory) 竞争型学习, 结构自适应网络

竞争型学习: 胜者通吃 winner-take-all

  1. 比较层: 接收样本, 传递
  2. 识别层: 神经元match模式 one by one, 数量可动态增长
  3. 竞争: 取 MIN(distance(输入向量, 代表向量)),
  4. if d>识别阈值, 归为该类; if ≤, 重置模块新增一个神经元

识别阈值↑, 模式类别多, 精细; ↓, 类别少, 粗略

优: 缓解了竞争性学习的"可塑性(学新)-稳定性(忆旧)dilemma"; 可进行增量学习, 在线学习

分类: 早期ART-Boolean only; ART2-实值; FuzzyART-模糊值; ARTMAP-监督学习

自组织映射 SOM网络 (self-organizing map) 竞争型学习

可将高维数据映射到低维, 同时保持拓扑结构

原理: 输出层以矩阵方式排列, 每个神经元一个权向量, 训练目标就是为每个输出层神经元找到合适权向量, 保持拓扑结构

过程

  1. 最佳匹配单元 = MIN(d(样本, 权向量))
  2. adj d(最佳匹配单元, 权向量)
  3. 迭代iterate→converge

级联相关网络 (cascade-correlation) 结构自适应网络(可调整)

可变: 连接权w, 阈值, +网络结构

"级联": +新隐层神经元

"相关": MAX(correlation(神经元输出, 网络误差)) → 训练参数

优: (×) set 网络层num, 隐层神经元num; 训练速度较快

缺: dataset小容易overfitting

Elamn网络 递归神经网络

递归神经网络(Recurrent NN): 允许环形网络with loop

结构: 类似多层前回馈, 但return隐层输出as next input

隐层用sigmoid激活函数, 网络训练用BP算法

Boltzman机 递归神经网络

基于能量模型 (energy-based model), MIN(f(energy))

  1. 显层-输入
  2. 隐层Boolean: 0抑制/1激活
  3. 显层-输出

目标: MAX(P(状态向量s出现概率))

标准Boltzman机: 全连接

restricted Boltzman机: only save 显层~隐层, 用对比散度CD训练

CD: 先算隐层概率分布, 采样; 后更新连接权

5.3 深度学习Deep ~/特征学习Feature ~/表示学习Representation ~

模型复杂度高, 体量capacity大

目标

体量↑

方法

  1. DBN深度信念网络: 隐层num↑→神经元num↑,层数↑
    • 缺点: 标准BP算法failure, 会导致误差发散diverge无法收敛converge
    • 解决: 无监督逐层训练, "预训练+微调": 局部寻优→全局寻优
    • 过程: 每一层都按照Restricted Boltzman机(RBM)训练, 上层output→本层input→本层output→下层input
  2. CNN卷积神经网络
    1. 特征映射feature map: 采样层亚采样to data↓ & save info
    2. 权共享: 一组神经元使用相同连接权 

TASK4 学习心得

  • Gradient decent note from 吴恩达老师ML_week1
  • Code忘完了, 要结合课件回忆一下
  • 之前学code算neuron还会晕, 现在不会了, 嗯真好googood
大老猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习-05 神经网络
一个小白
10-31 2979
5、神经网络 在机器学习中，神经网络一般指的是“神经网络学习”，是机器学习与神经网络两个学科的交叉部分。所谓神经网络，目前用得最广泛的一个定义是“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。 5.1 神经元模型 神经网络中最基本的单元是神经元模型（neuron）。在生物神经网络的原始机制中，每个神经元通常都有多个树突（dendrite），一个轴突（axon）和一个细胞体（cell body），树突短而多分支，轴突长而只有.
梯度下降算法
prison break rabbit
03-03 762
转自：http://zipperary.com/2013/06/16/large-scale-ml/ 机器学习在这几年得到快速发展，一个很重要的原因是 Large Dataset（大规模数据），这节课就来介绍用机器学习算法处理大规模数据的问题。 关于数据的重要性，有一句话是这么说的： It’s not who has the best algorithm that wins. It
机器学习算法
Flyingzhan的博客
07-30 775
机器学习算法 1：线性回归的解释 线性回归是最简单的机器学习算法之一，但是非常常用。我们都知道给定(x,y)作为训练数据，使用如下的目标函数进行优化： 然后使用优化方法，比如说梯度下降算法（或者牛顿法等）对上面的目标进行优化： 但是为什么直接使用平方差作为损失函数能够进行先行回归？下面的解释来自与Andrew Ng的机器学习课程： 假设回归结果与真实值之间的误差满足正太分...
机器学习之线性回归及代码示例
热门推荐
cxmscb的博客
11-26 1万+
一、线性回归线性回归一般用来做连续值的预测，预测的结果为一个连续值。因训练时学习样本不仅要提供学习的特征向量X，而且还要提供样本的实际结果（标记label），所以它是一种有监督学习。X= { x0 x1 x2 x3 x4 … xn }。线性回归需要学习得到的是一个映射关系f：X -> y，即当给定新的待预测样本时，我们可以通过这个映射关系得到一个测试样本X的预测值y。在线性回归中，假定输入X和输出y
神经网络分享
孟孟的博客
10-21 537
神经网络分享神经网络笔记（针对西瓜书的分享）感知机BP算法激活函数激活函数总结常见神经网络RBP(radial basis function，径向基函数）网络ART（adaptive resonance theory，自适应谐振理论）网络SOM（self-organizing map，自组织映射）网络级联相关（cascade-correlation）网络Elman网络Boltzmann机深度学习 神经网络笔记（针对西瓜书的分享） 此次分享出处是西瓜书中的神经网络章节，2018年10月22日，我在实验室进行分
机器学习西瓜书笔记（五）--------------神经网络
qq_42316200的博客
07-19 297
目录 神经元模型 感知机与多层网络 BP神经网络算法 常见神经网络 深度学习 神经元模型 神经网路中最基本的成分是“神经元”模型，在生物神经网络中，每个神经元与其他神经元相连，当他“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元类的电位；如果某神经元的电位超过一个“阈值”，那么他就会被激活。将上述描述当成一个数学模型——M-P神经元模型，神经元接收来自n个神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传输，将神经元接收到的总输入值与神经元的自身的阈值进行...
CNN_大数据_机器学习_卷积神经网络_
10-02
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，尤其在图像处理领域表现出色，如手写数字识别。在这个项目中，我们将会深入探讨如何利用CNN实现这一功能，同时结合大数据和机器学习的技术。...
BP神经网络机器学习算法_机器学习_BP神经网络学习算法_
10-03
在机器学习领域，BP神经网络是一种监督学习算法，其核心思想是通过梯度下降法来更新网络参数。在训练过程中，首先随机初始化网络的权重和偏置，然后将训练样本输入网络，计算网络的输出。接着，通过比较网络的实际...
ex3-neural network_机器学习_神经网络_
10-03
在机器学习领域，神经网络是一种强大的工具，尤其在模式识别、图像分类、自然语言处理等方面展现出卓越性能。本文将深入探讨“ex3-neural network”这个主题，它旨在为初学者提供神经网络的基础编程实践。 神经网络...
5_机器学习_神经网络_thatq3s_dieggw_
10-02
在这个名为"5_机器学习_神经网络_thatq3s_dieggw_"的项目中，我们的目标是构建一个能对四个类别进行有效区分的神经网络模型。 首先，让我们了解基本的神经网络结构。神经网络通常由输入层、隐藏层和输出层构成。...
Ancode_机器学习_神经网络_深度学习_K._
10-03
三种识别手写数字的算法比较，包括k均值算法，基于神经网络的识别算法，基于深层卷积神经网络的算法，其中分别包含于文件123。使用前需要安装tensorflow，并把mnist_data训练集分别置于三个文件的主目录下。
机器学习Day10:聚类
weixin_52108189的博客
07-02 784
成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性尽可能大。如下图所示，由于a、b某特征有相似之处，将他们聚类一类，以此类推。改变样本和簇的隶属关系，使得每一次改进后的划分方法都比前一次。当簇近似于高斯分布时效果好。基本思想：对于给定的类别数据k首先给出。聚类是按照某个特定标准把一个数据集。典型算法：DBSCAN算法。代表：k-means算法。可被定义时才能使用；，直到满足某种条件为止。：对给定的数据集进行。
机器学习原理之 -- XGboost原理详解
wodertianna的博客
07-06 1282
XGBoost（eXtreme Gradient Boosting）是近年来在数据科学和机器学习领域中广受欢迎的集成学习算法。它在多个数据科学竞赛中表现出色，被广泛应用于各种机器学习任务。本文将详细介绍XGBoost的由来、基本原理、算法细节、优缺点及应用场景。
Interpretability 与 Explainability 机器学习
茶桁专栏
07-06 682
这个灰色区域是我们发现这个定义的第一个问题。我们可能同意，一个有 2 棵树的随机森林是可解释的。然而，一个有 100 棵树的随机森林是不可解释的。在什么时候（即有多少棵树），模型从 interpretable 变为 explainable？即使是具有许多节点的决策树或具有许多参数的回归，如果没有额外的技术，也可能变得过于复杂，人类无法理解。问题是我们试图根据人类的理解能力对模型进行分类。没有正式的方法来衡量这一点。你理解模型的能力取决于你的技术技能和专业经验。即使在专业人士中，也会有分歧。
机器学习实现自然语言处理的背后技术详解
极客代码
07-03 945
自然语言处理是指通过计算机技术对自然语言文本进行处理和理解，从而实现机器翻译、情感分析、文本摘要等应用。它涉及到语言的理解、生成和评估等方面，是人工智能领域中一个重要的研究方向。为了更好地理解自然语言处理在实际应用中的工作原理，我们将使用一个流行的数据集——IMDb电影评论情感分析数据集。这个数据集包含了50,000条电影评论，其中25,000条被标记为正面，25,000条被标记为负面。# 加载IMDb数据集。
深度学习之生成对抗网络 BigGAN
JustinMars的博客
07-01 96
BigGAN（Big Generative Adversarial Networks）是生成对抗网络（GAN）的一种扩展版本，由 DeepMind 的研究人员于 2018 年提出。BigGAN 在图像生成领域取得了显著的突破，能够生成高质量、大尺寸的图像。
机器学习之保存与加载
最新发布
qq_33816117的博客
07-06 276
这篇介绍了，在MindSpore中保存和加载模型的方法,包括使用save_checkpoint保存模型参数,load_checkpoint和load_param_into_net加载参数,以及使用export导出MindIR格式模型并通过load接口加载进行推理。还介绍了这些保存和加载模型的核心API,为开发者提供了在MindSpore中管理和复用模型的实用技巧。
DW-GAN: A Discrete Wavelet Transform GAN for NonHomoge-neous Dehazing
qq_44185614的博客
07-01 1018
模糊的图像经常出现色彩失真、模糊和其他可见的质量下降。现有的一些基于cnn的方法在去除均匀雾霾方面有很好的效果，但在情况下，鲁棒性较差。原因主要有两方面。首先，由于，在除雾过程中容易丢失纹理细节。其次，由于，在有限的数据上训练容易导致过拟合问题。为了解决这两个问题，我们引入了一种新的二维离散小波变换去雾网络，即DW-GAN。具体来说，我们提出了一个双分支网络来解决上述问题。通过小波变换在DWT分支中的应用，可以保留更多的高频知识。
智能优化算法课程 ML机器学习入门 神经网络基础 智能优化算法-BP神经网络基本原理简介 共25页.pptx
04-27
"智能优化算法课程，涵盖了ML机器学习的基础，特别是神经网络的原理，包括BP神经网络的基本概念。文档深入介绍了人工神经元模型、激活函数、网络模型、工作方式，以及BP算法的反向传播机制。" 智能优化算法是现代...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值