AI-理论-吃瓜教程-神经网络-task4

最新推荐文章于 2022-06-25 06:29:47 发布
最新推荐文章于 2022-06-25 06:29:47 发布
阅读量3.4k 收藏
点赞数
分类专栏： AI 算法梳理 文章标签： 神经网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012835414/article/details/124981351
版权

AI-理论-吃瓜教程-神经网络-task4

(Datawhale37期组队学习)

文章目录

1知识点

  • 神经元模型
  • 感知机
  • 多层网络
  • 误差逆传播
  • 全局最小与局部极小
  • 常见NN
  • DL

2具体内容

2.1神经元模型

  • 神经元：简单单元

  • M-P神经元模型

  • 多个输入+带权重连接+与阈值比较+激活函数
    在这里插入图片描述

  • 激活：sigmoid

  • 多个神经元按一定层次结构连接形成神经网络

2.2感知机

  • perceptron：两层神经元
  • 阈值逻辑单元 threshold logic unit
  • 阈值 θ \theta θ：固定输入为-1.0的哑结点对应的连接权重 w n + 1 w_{n+1} wn+1​
  • 在这里插入图片描述
  • 学习率 η ∈ ( 0 , 1 ) \eta\in(0,1) η∈(0,1)
  • 只有输出层神经元有激活函数处理，只有一层功能神经元
  • 线性可分的学习

2.3多层网络

  • 线性不可分的学习
  • 输入层与输出层之间加入隐含层
  • 每层神经元与下一层神经元全互连，神经元同层不互连，不跨层连接
  • 多层前馈神经网络

2.4误差逆传播

  • 反向传播算法（BP）
    在这里插入图片描述
  • 推导过程：
    在这里插入图片描述在这里插入图片描述在这里插入图片描述
  • 学习率控制这算法每一轮迭代的更新步长，太大容易振荡，太小收敛过慢
  • 流程：输入逐层传递信号产生输出，计算输出层误差，逆向传播至隐层神经元，根据隐层神经元误差对连接权与阈值调整，迭代至停止条件（误差达到理想值）
    在这里插入图片描述
  • BP目标：最小化训练集D的累积误差
    在这里插入图片描述
  • 基于累积误差最小化的更新规则得到了累积误差逆传播算法
    • 标准BP每次更新针对单个样例，参数更新频繁，不同样例更新可能“抵消”，进行多次迭代
    • 累积BP直接针对累积误差最小化，读取整个训练集D一遍后对参数更新，更新频率低
  • 过拟合
    • 早停：训练集误差降低但验证集误差升高，早停，返回具有最小验证集误差的连接权和阈值
    • 正则化：误差目标函数增加描述网络复杂度的项
      在这里插入图片描述

2.5全局最小与局部极小

  • 参数空间内梯度为0的点：多个局部极小，一个全局最小
  • 基于梯度搜索：计算误差函数在当前梯度，根据梯度确定搜索方向（负梯度方向）
  • 跳出局部极小：（也可能跳出全局最小）
    • 以多组不同参数值初始化多个NN，标准训练后取误差最小的解（从不同初始点开始）
    • 模拟退火：以一定概率接受比当前解更差的结果，“跳出”局部极小，迭代接受“次优解”的概率随时间降低来保证算法稳定
    • 随机梯度下降：计算梯度时加入随机因素，即便陷入局部极小但算出的梯度不为0
    • 遗传算法

2.6常见NN

  • RBF径向基网络
    • 确定神经元中心（随机采样、聚类）
    • BP算法确定参数
  • ART自适应谐振理论网络（竞争型学习）
    • 比较层、识别层（模式类、神经元数动态变）、识别阈值和重置模块
  • SOM自组织映射网络（竞争型无监督）
  • 级联相关网络（假定网络事先固定）
    • 建立层级连接的层次结构
    • 相关通过最大化新神经元的输出与网络误差之间的相关性来训练相关的参数
  • Elman网络：递归神经网络（环形结构）
    • t时刻输出状态不仅与t时刻输入有关，还与t-1时刻的网络状态有关，从而能处理与时间有关的动态变化
    • sigmoid激活函数，推广的BP算法
  • Boltzmann（基于能量的模型）
    • 显层与隐层
    • 神经元是布尔型的（1激活，0抑制）

2.7DL

  • 增加隐层
  • 预训练
  • 微调
  • 权共享
  • 特征学习

3待补充

无

4Q&A

无

5code

无

6参考

  • https://github.com/datawhalechina/pumpkin-book
yxyibb
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[TensorFlow]tf.nn.top_k()
nan_xiaobai的博客
07-23 6096
tf官方定义的top_k函数 def top_k(input, k=1, sorted=True, name=None): # pylint: disable=redefined-builtin 找到张量（k>1）（向量,k=1）中每行最大的k个值，并返回值和对应的索引。 """ Args: input: 1-D 向量 or 高维张量. k: 0-D ...
CC00006.hadoop——|Hadoop&Hadoop核心框架.V06|——|Hadoop.v06|HDFS/MapReduce/YARN框架|
yanqi_vip
04-06 76
一、[Hadoop重要组成之HAFS/MapReduce/YARN框架] ### --- Hadoop重要组成之HAFS框架 ~~~ 1、Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块 ~~~ 2、Hadoop HDFS：(Hadoop Distribute File System )一个...
NN&DL4.1 Deep L-layer neural network简介
gaohanjie123的博客
03-18 435
前期回顾 在之前的课程中，我们学习了单隐藏层神经网络中的： （1） 前向传播和反向传播 （2）逻辑回归 （3）向量化 （4）了解了对权重参数进行随机初始化的重要性 如果你完成了前几周的作业，那你应该已经实现并亲眼看到了某些理念实现后的效果。迄今为止，我们已经学过实现深度神经网络需要的大部分知识 。 本周任务 本周的任务是：把这些理念组合起来，并利用它们实现你自己的深度神经网络。 学习目标： （1）...
【tensorflow】tf.nn.top_k()和tf.nn.in_top_k()——解析
qq_37902216的博客
05-08 2516
一、tf.nn.top_k()使用方法 tf.nn.top_k(input, k, name=None) 解释：这个函数的作用是返回input中每行最大的k个数，并且返回它们所在位置的索引。 代码释义： import tensorflow as tf import numpy as np input = tf.constant(np.random.rand(3,4)) k =...
T1-1第一题吃瓜问题CodeForces - 4A amc第一次考试2018.12.8
weixin_44012730的博客
12-09 194
Input The first (and the only) input line contains integer number w (1 ≤ w ≤ 100) — the weight of the watermelon bought by the boys. Output Print YES, if the boys can divide the w...
Pytorch并行分布式训练二 （ DP）
Dteam_f的博客
11-05 298
Optional: Data Parallelismhttps://pytorch.org/tutorials/beginner/blitz/data_parallel_tutorial.html#optional-data-parallelism DP是最简单的pytorch多gpu训练方法，虽然现在已不是pytorch官方的推荐，但也值得做适当的了解。 1.单GPU训练 可以概况为： Modelto GPU Input to GPU Input to Model 值得注意...
tf.nn.in_top_k和tf.nn.top_k()的用法
anshiquanshu的专栏
03-17 770
tf.nn.in_top_k ''' predictions: 你的预测结果（一般也就是你的网络输出值）大小是预测样本的数量乘以输出的维度 target: 实际样本类别的标签，大小是样本数量的个数 k: 每个样本中前K个最大的数里面（序号）是否包含对应target中的值 ''' import tensorflow as tf A = tf.Variable([[0.8, 0.4, 0.5, 0.6],[0.1, 0.9, 0.2, 0.4.
tf.nn.top_k()
weixin_36670529的博客
06-25 612
一、函数原型 tf.nn.top_k( input, k=1, sorted=True, name=None ) 为了找到输入的张量的最后的一个维度的最大的k个值和它的下标！ 如果输入的是一个向量，也就是rank=1，找到最大的k个数在这个向量，则输出最大的k个数字和最大的这k个数字的下标。如果输入的张量是一个更高rank的矩阵，那么我们只要找到每一行的最大......
tf.nn.top_k()和tf.reverse()两个函数解决tensor排序问题及代码实现
洲洲的博客
11-27 2358
文章目录tf.nn.top_k()tf.reverse()代码示例 在写程序的时候遇到的问题，怎么才能对tensor中的数值进行排序，我们知道在numpy中有sort()函数可以实现这个目的，那对于tensor应该怎样实现呢？经过查询发现使用tf.nn.top_k()和tf.reverse()两个函数可以实现这一目的。下面分别介绍这连个函数 tf.nn.top_k() tf.nn.top_k(...
AI-理论-吃瓜教程-基础-task1
yxyibb
05-15 229
(Datawhale37期组队学习) 文章目录AI-理论-吃瓜教程-基础-task11知识点2具体内容2.1基本术语2.2归纳偏好2.3经验误差、过拟合2.4评估方法2.5性能度量2.6比较检验2.7偏差与方差3待补充4Q&A5code6参考 1知识点 基本术语 归纳偏好 经验误差、过拟合 评估方法 性能度量 比较检验 偏差与方差 2具体内容 2.1基本术语 通过计算手段，利用经验改善系统自身的性能。模型->学习算法 数据集 特征、属性 属性空间、样本空间 训练集 泛化：学得模型适用于.
深度学习基础04---神经网络NN算法
duohuanxi的博客
10-23 1544
1.背景： （1）以人脑中的神经网络为启发，历史上出现过很多不同版本 （2）最著名的算法是1980年的backpropagation 2.多层向前神经网络（Multilayer Feed-Forward Neural Network） （1）Backpropogation被使用在多层向前神经网络上 （2）多层向前神经网络由以下部分组成： 输入层（input layer），隐藏层（hidden layer），输出层（output layer） 输出和输出层均只有一层，但是隐藏层可以有N层 （3）每层由单元
神经网络NN简单理解以及算法
m0_37667962的博客
08-20 6016
简介 1.什么是神经网络 1.1 背景 : 以人脑中的神经网络为启发，历史上出现过很多不同版本 最著名的算法是1980年的 backpropagation 1.2 多层向前神经网络(Multilayer Feed-Forward Neural Network) Backpropagation被使用在多层向前神经网络上 多层向前神经网络由以下部分组成：  输入层(input lay...
神经网络NN算法(理论篇)
weixin_34403693的博客
12-28 1968
起步 神经网络算法( Neural Network )是机器学习中非常非常重要的算法。这是整个深度学习的核心算法，深度学习就是根据神经网络算法进行的一个延伸。理解这个算法的是怎么工作也能为后续的学习打下一个很好的基础。 背景 神经网络是受神经元启发的，对于神经元的研究由来已久，1904年生物学家就已经知晓了神经元的组成结构。 1943...
UnusualDeepLearning-task1
yxyibb
11-15 3443
UnusualDeepLearning-task1 绪论与深度学习概述、数学基础 (Datawhale31期组队学习) 文章目录UnusualDeepLearning-task1基础点知识点1 人工智能、机器学习与深度学习1.1 人工智能1.2 机器学习2 深度学习的定义和主要应用2.1 定义2.2 应用3 数学基础3.1 矩阵论3.2 概率统计3.4 最优化估计参考 基础点 人工智能、机器学习与深度学习 起源与发展 重要的研究机构和著名科学家 深度学习的定义和主要应用 定义、理论和方法 主要应用
西瓜书-sklearn中逻辑回归算法
yxyibb
06-28 1124
要求 学习时长：6/27—6/28 任务标题：学习sklearn包中逻辑回归算法的使用 任务简介：实验-sklearn-user guide 1.1.11 任务详解： 本节的主要任务是，了解sklearn包中逻辑回归算法的使用。逻辑回归算法大家基本了解了，简单使用大家也用过了。 但是这次实验的主要目的，是让大家了解一下sklearn包的官网，这个官网提供了详细的教程和案例，对于机器学习来讲是一种...
决策树算法梳理
yxyibb
01-08 1107
目录 1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景 3. 回归树原理 4. 决策树防止过拟合手段 5. 模型评估 6. sklearn参数详解，Python绘制决策树 7.参考 1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 1.熵：本是热力学中表征物质状态的参量之一，...
UnusualDeepLearning-task2
yxyibb
11-15 739
task2机器学习基础 (Datawhale31期组队学习) 文章目录task2机器学习基础基础点知识点1准备概念2数据集2.1分类2.2常见数据集3误差分析3.1误差3.2泛化误差分析3.3交叉验证4有监督学习4.1线性回归4.2逻辑回归（分类算法）4.3支持向量机（SVM）4.4决策树（DT）4.5随机森林5无监督学习5.1聚类5.2降维参考 基础点 数据集 误差分析 ML算法 有监督、线性回归、SVM、决策树、RF 无监督、聚类、降维（PCA） 知识点 1准备概念 让机器具备人一样学习、思考
西瓜书-极大似然估计与朴素贝叶斯
yxyibb
07-16 678
学习内容 西瓜书的第7章 贝叶斯分类器。 极大似然估计和朴素贝叶斯分类器。 其中极大似然法贯穿我们整个机器学习和深度学习的理论中，是很多学习算法的基础，所以大家比如掌握。 另外朴素贝叶斯因为其优秀的速度优势，比如过去的判别邮件是否是垃圾邮件的任务中，一直扮演着重要决策，所以大家应该了解其思想。 学习时长：7/15——7/16 任务标题：极大似然估计与朴素贝叶斯 任务简介：学习西瓜书7.2/7.3...
CMSIS-NN神经网络教程
最新发布
08-13
CMSIS-NN神经网络教程是一个关于使用CMSIS-NN神经网络库的教程。该教程的第二版已于2021年9月20日发布，并且与DSP数字信号处理教程同步更新。在更新中，CMSIS-DSP和CMSIS-NN库将被独立出来，不再包含在CMSIS软件包中，以便更方便地进行独立更新和发布。同时，该教程还将介绍CMSIS-RTOS V2和CMSIS-DAP的最新更新内容。该教程旨在完善第一版教程中的内容，并分享在信号处理应用方面的经验和待解决问题。此外，教程还提到了单片机人工智能（AI）的前景，ARM正在推进单片机AI的发展，并在2020年的路线图中计划发布机器学习库和更强大的DSP库。总的来说，CMSIS-NN神经网络教程是一个重要的教程，为使用CMSIS-NN库进行神经网络开发提供了指导和示例。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [事隔五年之后，开启第2版DSP数字信号处理和CMSIS-NN神经网络教程，同步开启三代示波器，前50章发布（2021-...](https://blog.csdn.net/Simon223/article/details/105049607)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [CMSIS软件包V5.8.0发布，所有组件全面更新，CMSIS-NN神经网络接口函数开始兼容TensorFlow Lite](https://blog.csdn.net/Simon223/article/details/118363349)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值