deeplearning.19 深度学习神经网络的一些参数处理

最新推荐文章于 2024-04-24 14:45:14 发布
最新推荐文章于 2024-04-24 14:45:14 发布
阅读量460 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 神经网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48681463/article/details/120263730
版权

参数处理

数据集的规划

训练集训练模型，测试集评估模型，验证集应用模型，在big data时代，数据规模可能是百万级，那么取百分之一做测试集或者验证集即可。

偏差和方差

下图是数据集，做一个直线划分，不能很好的拟合，这就是偏差高的情况。称为欠拟合。如下图中的最左侧图
在这里插入图片描述
使用多种复杂分类器，进行分类，完美区分，称为过拟合，如下图最右侧所示。
在这里插入图片描述
适度拟合，复杂度和偏差度都适中，如下图中间的图。
在这里插入图片描述
下图我们识别猫来举例，训练集的误差只有百分之1，验证集误差百分之11，这就是高方差。
在这里插入图片描述
当训练集数据误差到百分之15，验证集误差到百分之16，我们这时可以称为高偏差，这是数据欠拟合。当训练集误差百分之15，验证集误差百分之30，我们可以称这是高偏差，高方差的情况。当训练集和验证集误差都在百分之1，我们可以称偏差和方差都很低。

正则化

正则化有助于避免过度拟合，或减少网络误差。
例如使用logistic回归的思想，求成本函数J的最小值，红框内就是加入了正则化。λ是正则化参数。这是L2正则化，通常使用验证集来寻找正则化参数。
在这里插入图片描述
L1正则化如下图所示。最终w是会变稀疏的，即w向量中有很多0.
在这里插入图片描述

dropout（随机失活）正则化

假设下图的神经网络存在过拟合，遍历每个神经元节点，使某些节点失去作用被消除，这个节点被保留和消除的概率都是百分之50.然后去掉从该节点进出的连线，最后得到一个节点更少，规模更小的网络。

在这里插入图片描述
这是我们精简后的网络。然后使用这个精简后的网络进行神经网络的训练。
在这里插入图片描述

实现dropout

假设我们应用在一个三层的神经网络，那么我们需要定义一个参数d
^ [3],是一个三层的只有0和1的矩阵，然后看他里边的数是否小于一个参数（keep-prob），这个keep-prob在上图中我们设置的是0.5.用来表示保留某个隐藏单元的概率。然后还有一个参数a^ [3] 我们使用a3=a3*b3的形式来过滤掉d3=0的情况。最后用a3/keep-prob在更新a3参数。
在这里插入图片描述
为什么最后一步要a3/keep-prop呢，假设我们的网络层数是3，那么最后一层输出层z4的计算公式如下，我们的a3只保留了百分之80，为了不使z4的期望值受影响，所以我们要除以百分之80，修正或弥补我们所丢失的那百分之20.
在这里插入图片描述
注意：测试阶段，不执行dropout来调整数值范围。有一个缺点就是成本函数J不再明确被定义。通常是会设置keep-prop为1，然后关掉dropout函数，然后运行成本函数J，确保J单调递减来调试模型。

其他正则化方法

为了解决过拟合问题，可以使用增加训练集的方法，可作为正则化方法使用。
还有一种方法叫early stopping，训练梯度下降时，我们可以绘制训练误差函数，当我们还可以同时绘制验证集误差，验证集误差一般是一个开口向上的曲线，所以early stopping作用就是在其中的某个低点，停止我们的迭代训练过程。
在这里插入图片描述
注意：early stopping是提前停止了成本函数J的降低，来换取解决数据过拟合的问题。

加速训练的方法

数据归一化

归一化输入是其中的一个方法，解决的是输入特征值范围相差过大的问题。假设我们有一个训练集，他的输入特征x是二维的
在这里插入图片描述
首先是进行零均值化，最后移动的数据集变为下图所示。
在这里插入图片描述
在这里插入图片描述
第二步是归一化方差，最后数据集变为下图所示
在这里插入图片描述
在这里插入图片描述

梯度爆炸与消失

如果我们权重矩阵w内的数，只比1大一点点，那么深度神经网络的激活函数将爆炸式增长，只比1小一点点，激活函数将指数级递减，那么这也等同于相关的导数或梯度函数增长或减少。

神经网络的权重初始化

以一个神经元为例，有四个输入特征，从x1到x4，最后得到预测值。

在这里插入图片描述
下图是我们求z的公式，那么我们知道z是wx的累加，我们希望n变大，wn的值变小，一个方法就是设置w=1/n，n表示神经元的输入特征数量。
在这里插入图片描述

梯度的数值逼近

先看一个函数，f（θ），我们在θ的左侧和右侧取偏移量为0.01的点
在这里插入图片描述
我们将数据代入f(θ)得到如下结构，计算结果。
在这里插入图片描述
最后我们与在θ点的值对比，发现误差只有0.001，这是叫考虑双边公差，与以往只考虑单边公差（即用【f（θ）-f（θ-ε）】/ε）情况不同，我们这样大大缩小了误差。
在这里插入图片描述

梯度检验（grad check）

要做的就是每个参数进行双边公差检验，如对J（θ），我们对每个θ^ [i]都遍历，使用如下公式
在这里插入图片描述
这个值应该逼近下式
在这里插入图片描述
如何检查是否逼近呢，使用下式
在这里插入图片描述

疯子的梦想＠
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tutorial_HYLee_Deep.pdf 深度学习讲座
07-12
第一部分 数据挖掘与机器学习数学基础 3 第一章 机器学习的统计基础 3 第二章 探索性数据分析（ EDA 11 第二部分 机器学习概述 14 第三章 机器学习概述 14 第三部分 监督学习 ---分类与回归 16 第四章 KNN k最邻近分类算法） 16 第五章 决策树 19 第六章 朴素贝叶斯分类 29 第七章 Logistic回归 32 第八章 SVM支持向量机 42 第九章 集成学习 (Esemble Learning) 43 第十一章 模型评估 46 第四部分 非监督学习 ---聚类与关联分析 50 第十二章 Kmeans聚类分析 50 第十三章 关联分析 Apriori 52 第十四章 数据预处理之数据降维 54 第五部分 Python数据预处理 57 第十五章 Python数据分析基础 57 第十六章 Python进行数据清洗 77 第六部分 数据结构与算法 82 一、二叉树（前、中、后遍历） 82 二、几种基本排序方法 82 第七部分 SQL知识 86 第八部分 数据挖掘案例分析 87 案例一 A Journey through Titanic 597c770e 87 案例二 Analysis for airplane-crashes-since-1908 94 案例三 贷款预测问题 98 案例四 KNN算法实现葡萄酒价格模型预测及交叉验证 107
深度学习神经网络(英文版PDF教程）
04-14
书的目录 Contents Website viii Acknowledgments ix Notation xiii 1 Introduction 1 1.1 Who Should Read This Book? . . . . . . . . . . . . . . . . . . . . 8 1.2 Historical Trends in Deep Learning . . . . . . . . . . . . . . . . . 12 I Applied Math and Machine Learning Basics 27 2 Linear Algebra 29 2.1 Scalars, Vectors, Matrices and Tensors . . . . . . . . . . . . . . . 29 2.2 Multiplying Matrices and Vectors . . . . . . . . . . . . . . . . . . 32 2.3 Identity and Inverse Matrices . . . . . . . . . . . . . . . . . . . . 34 2.4 Linear Dependence and Span . . . . . . . . . . . . . . . . . . . . 35 2.5 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.6 Special Kinds of Matrices and Vectors . . . . . . . . . . . . . . . 38 2.7 Eigendecomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.8 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . 42 2.9 The Moore-Penrose Pseudoinverse . . . . . . . . . . . . . . . . . . 43 2.10 The Trace Operator . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.11 The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.12 Example: Principal Components Analysis . . . . . . . . . . . . . 45 3 Probability and Information Theory 51 3.1 Why Probability? . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 i CONTENTS 3.2 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3 Probability Distributions . . . . . . . . . . . . . . . . . . . . . . . 54 3.4 Marginal Probability . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.5 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . 57 3.6 The Chain Rule of Conditional Probabilities . . . . . . . . . . . . 57 3.7 Independence and Conditional Independence . . . . . . . . . . . . 58 3.8 Expectation, Variance and Covariance . . . . . . . . . . . . . . . 58 3.9 Common Probability Distributions . . . . . . . . . . . . . . . . . 60 3.10 Useful Properties of Common Functions . . . . . . . . . . . . . . 65 3.11 Bayes’ Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 3.12 Technical Details of Continuous Variables . . . . . . . . . . . . . 69 3.13 Information Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.14 Structured Probabilistic Models . . . . . . . . . . . . . . . . . . . 73 4 Numerical Computation 78 4.1 Overflow and Underflow . . . . . . . . . . . . . . . . . . . . . . . 78 4.2 Poor Conditioning . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.3 Gradient-Based Optimization . . . . . . . . . . . . . . . . . . . . 80 4.4 Constrained Optimization . . . . . . . . . . . . . . . . . . . . . . 91 4.5 Example: Linear Least Squares . . . . . . . . . . . . . . . . . . . 94 5 Machine Learning Basics 96 5.1 Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.2 Capacity, Overfitting and Underfitting . . . . . . . . . . . . . . . 108 5.3 Hyperparameters and Validation Sets . . . . . . . . . . . . . . . . 118 5.4 Estimators, Bias and Variance . . . . . . . . . . . . . . . . . . . . 120 5.5 Maximum Likelihood Estimation . . . . . . . . . . . . . . . . . . 129 5.6 Bayesian Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . 133 5.7 Supervised Learning Algorithms . . . . . . . . . . . . . . . . . . . 137 5.8 Unsupervised Learning Algorithms . . . . . . . . . . . . . . . . . 142 5.9 Stochastic Gradient Descent . . . . . . . . . . . . . . . . . . . . . 149 5.10 Building a Machine Learning Algorithm . . . . . . . . . . . . . . 151 5.11 Challenges Motivating Deep Learning . . . . . . . . . . . . . . . . 152 II Deep Networks: Modern Practices 162 6 Deep Feedforward Networks 164 6.1 Example: Learning XOR . . . . . . . . . . . . . . . . . . . . . . . 167 6.2 Gradient-Based Learning . . . . . . . . . . . . . . . . . . . . . . . 172 ii CONTENTS 6.3 Hidden Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 6.4 Architecture Design . . . . . . . . . . . . . . . . . . . . . . . . . . 193 6.5 Back-Propagation and Other Differentiation Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 6.6 Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 7 Regularization for Deep Learning 224 7.1 Parameter Norm Penalties . . . . . . . . . . . . . . . . . . . . . . 226 7.2 Norm Penalties as Constrained Optimization . . . . . . . . . . . . 233 7.3 Regularization and Under-Constrained Problems . . . . . . . . . 235 7.4 Dataset Augmentation . . . . . . . . . . . . . . . . . . . . . . . . 236 7.5 Noise Robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 7.6 Semi-Supervised Learning . . . . . . . . . . . . . . . . . . . . . . 240 7.7 Multitask Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 241 7.8 Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 7.9 Parameter Tying and Parameter Sharing . . . . . . . . . . . . . . 249 7.10 Sparse Representations . . . . . . . . . . . . . . . . . . . . . . . . 251 7.11 Bagging and Other Ensemble Methods . . . . . . . . . . . . . . . 253 7.12 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 7.13 Adversarial Training . . . . . . . . . . . . . . . . . . . . . . . . . 265 7.14 Tangent Distance, Tangent Prop and Manifold Tangent Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 8 Optimization for Training Deep Models 271 8.1 How Learning Differs from Pure Optimization . . . . . . . . . . . 272 8.2 Challenges in Neural Network Optimization . . . . . . . . . . . . 279 8.3 Basic Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.4 Parameter Initialization Strategies . . . . . . . . . . . . . . . . . 296 8.5 Algorithms with Adaptive Learning Rates . . . . . . . . . . . . . 302 8.6 Approximate Second-Order Methods . . . . . . . . . . . . . . . . 307 8.7 Optimization Strategies and Meta-Algorithms . . . . . . . . . . . 313 9 Convolutional Networks 326 9.1 The Convolution Operation . . . . . . . . . . . . . . . . . . . . . 327 9.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 9.3 Pooling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 9.4 Convolution and Pooling as an Infinitely Strong Prior . . . . . . . 339 9.5 Variants of the Basic Convolution Function . . . . . . . . . . . . 342 9.6 Structured Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . 352 9.7 Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 iii CONTENTS 9.8 Efficient Convolution Algorithms . . . . . . . . . . . . . . . . . . 356 9.9 Random or Unsupervised Features . . . . . . . . . . . . . . . . . 356 9.10 The Neuroscientific Basis for Convolutional Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 9.11 Convolutional Networks and the History of Deep Learning . . . . 365 10 Sequence Modeling: Recurrent and Recursive Nets 367 10.1 Unfolding Computational Graphs . . . . . . . . . . . . . . . . . . 369 10.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . 372 10.3 Bidirectional RNNs . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10.4 Encoder-Decoder Sequence-to-Sequence Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390 10.5 Deep Recurrent Networks . . . . . . . . . . . . . . . . . . . . . . 392 10.6 Recursive Neural Networks . . . . . . . . . . . . . . . . . . . . . . 394 10.7 The Challenge of Long-Term Dependencies . . . . . . . . . . . . . 396 10.8 Echo State Networks . . . . . . . . . . . . . . . . . . . . . . . . . 399 10.9 Leaky Units and Other Strategies for Multiple Time Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 10.10 The Long Short-Term Memory and Other Gated RNNs . . . . . . 404 10.11 Optimization for Long-Term Dependencies . . . . . . . . . . . . . 408 10.12 Explicit Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . 412 11 Practical Methodology 416 11.1 Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . 417 11.2 Default Baseline Models . . . . . . . . . . . . . . . . . . . . . . . 420 11.3 Determining Whether to Gather More Data . . . . . . . . . . . . 421 11.4 Selecting Hyperparameters . . . . . . . . . . . . . . . . . . . . . . 422 11.5 Debugging Strategies . . . . . . . . . . . . . . . . . . . . . . . . . 431 11.6 Example: Multi-Digit Number Recognition . . . . . . . . . . . . . 435 12 Applications 438 12.1 Large-Scale Deep Learning . . . . . . . . . . . . . . . . . . . . . . 438 12.2 Computer Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 12.3 Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 453 12.4 Natural Language Processing . . . . . . . . . . . . . . . . . . . . 456 12.5 Other Applications . . . . . . . . . . . . . . . . . . . . . . . . . . 473 iv CONTENTS III Deep Learning Research 482 13 Linear Factor Models 485 13.1 Probabilistic PCA and Factor Analysis . . . . . . . . . . . . . . . 486 13.2 Independent Component Analysis (ICA) . . . . . . . . . . . . . . 487 13.3 Slow Feature Analysis . . . . . . . . . . . . . . . . . . . . . . . . 489 13.4 Sparse Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 13.5 Manifold Interpretation of PCA . . . . . . . . . . . . . . . . . . . 496 14 Autoencoders 499 14.1 Undercomplete Autoencoders . . . . . . . . . . . . . . . . . . . . 500 14.2 Regularized Autoencoders . . . . . . . . . . . . . . . . . . . . . . 501 14.3 Representational Power, Layer Size and Depth . . . . . . . . . . . 505 14.4 Stochastic Encoders and Decoders . . . . . . . . . . . . . . . . . . 506 14.5 Denoising Autoencoders . . . . . . . . . . . . . . . . . . . . . . . 507 14.6 Learning Manifolds with Autoencoders . . . . . . . . . . . . . . . 513 14.7 Contractive Autoencoders . . . . . . . . . . . . . . . . . . . . . . 518 14.8 Predictive Sparse Decomposition . . . . . . . . . . . . . . . . . . 521 14.9 Applications of Autoencoders . . . . . . . . . . . . . . . . . . . . 522 15 Representation Learning 524 15.1 Greedy Layer-Wise Unsupervised Pretraining . . . . . . . . . . . 526 15.2 Transfer Learning and Domain Adaptation . . . . . . . . . . . . . 534 15.3 Semi-Supervised Disentangling of Causal Factors . . . . . . . . . 539 15.4 Distributed Representation . . . . . . . . . . . . . . . . . . . . . . 544 15.5 Exponential Gains from Depth . . . . . . . . . . . . . . . . . . . 550 15.6 Providing Clues to Discover Underlying Causes . . . . . . . . . . 552 16 Structured Probabilistic Models for Deep Learning 555 16.1 The Challenge of Unstructured Modeling . . . . . . . . . . . . . . 556 16.2 Using Graphs to Describe Model Structure . . . . . . . . . . . . . 560 16.3 Sampling from Graphical Models . . . . . . . . . . . . . . . . . . 577 16.4 Advantages of Structured Modeling . . . . . . . . . . . . . . . . . 579 16.5 Learning about Dependencies . . . . . . . . . . . . . . . . . . . . 579 16.6 Inference and Approximate Inference . . . . . . . . . . . . . . . . 580 16.7 The Deep Learning Approach to Structured Probabilistic Models . . . . . . . . . . . . . . . . . . . . . . . . . 581 17 Monte Carlo Methods 587 17.1 Sampling and Monte Carlo Methods . . . . . . . . . . . . . . . . 587 v CONTENTS 17.2 Importance Sampling . . . . . . . . . . . . . . . . . . . . . . . . . 589 17.3 Markov Chain Monte Carlo Methods . . . . . . . . . . . . . . . . 592 17.4 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596 17.5 The Challenge of Mixing between Separated Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597 18 Confronting the Partition Function 603 18.1 The Log-Likelihood Gradient . . . . . . . . . . . . . . . . . . . . 604 18.2 Stochastic Maximum Likelihood and Contrastive Divergence . . . 605 18.3 Pseudolikelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . 613 18.4 Score Matching and Ratio Matching . . . . . . . . . . . . . . . . 615 18.5 Denoising Score Matching . . . . . . . . . . . . . . . . . . . . . . 617 18.6 Noise-Contrastive Estimation . . . . . . . . . . . . . . . . . . . . 618 18.7 Estimating the Partition Function . . . . . . . . . . . . . . . . . . 621 19 Approximate Inference 629 19.1 Inference as Optimization . . . . . . . . . . . . . . . . . . . . . . 631 19.2 Expectation Maximization . . . . . . . . . . . . . . . . . . . . . . 632 19.3 MAP Inference and Sparse Coding . . . . . . . . . . . . . . . . . 633 19.4 Variational Inference and Learning . . . . . . . . . . . . . . . . . 636 19.5 Learned Approximate Inference . . . . . . . . . . . . . . . . . . . 648 20 Deep Generative Models 651 20.1 Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . . . . . 651 20.2 Restricted Boltzmann Machines . . . . . . . . . . . . . . . . . . . 653 20.3 Deep Belief Networks . . . . . . . . . . . . . . . . . . . . . . . . . 657 20.4 Deep Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . . 660 20.5 Boltzmann Machines for Real-Valued Data . . . . . . . . . . . . . 673 20.6 Convolutional Boltzmann Machines . . . . . . . . . . . . . . . . . 679 20.7 Boltzmann Machines for Structured or Sequential Outputs . . . . 681 20.8 Other Boltzmann Machines . . . . . . . . . . . . . . . . . . . . . 683 20.9 Back-Propagation through Random Operations . . . . . . . . . . 684 20.10 Directed Generative Nets . . . . . . . . . . . . . . . . . . . . . . . 688 20.11 Drawing Samples from Autoencoders . . . . . . . . . . . . . . . . 707 20.12 Generative Stochastic Networks . . . . . . . . . . . . . . . . . . . 710 20.13 Other Generation Schemes . . . . . . . . . . . . . . . . . . . . . . 712 20.14 Evaluating Generative Models . . . . . . . . . . . . . . . . . . . . 713 20.15 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716 Bibliography 717 vi CONTENTS Index 774
深度学习调参经验汇总
贾维斯的小屋
08-16 5517
此篇文章是在原创教程这个栏目下，但实际上是一篇汇总整理文章。相信大家在做深度学习时对调参尤为无奈，经验不足乱调一通，或者参数太多无从下手，我也如此。希望通过此文汇总网上一些调参的经验方法，供大家参考。此文会对网上每一篇调参文章做简练的总结与提炼，以此为此文的组成单元，并附上原文的链接。如果遇到不对的地方，欢迎指正~本文也将不定期更新，最后祝大家调参（炼金）顺利！ 有多少人工，就有多少智能！（笑...
【深度学习】2.1深度学习的实用层面
糊涂懿的博客
10-09 763
训练/开发/测试集 偏差/方差 机器学习基础 正则化 为什么正则化可以减少过拟合？ Dropout正则化 理解Dropout 其他正则化方法 正则化输入 梯度消失与梯度爆炸 神经网络的权重初始化 梯度的数值逼近 梯度检验 关于梯度检验实现的注记 如何改变文本的样式 强调文本 强调文本 加粗文本 加粗文本 标记文本 删除文本 引用文本 H2O is是液体。 210 运算结果是 1024. 插入居中的图片: 居中并且带尺寸的图片: 如何插入一段漂亮的代码片 // An highlighted block
模型涨点的思路，深度学习训练的tricks-计算机视觉
白水空空
03-13 1164
模型涨点尽力而为，AI performance = data(70%) + model(CNN、RNN、Transformer、Bert、GPT 20%) + trick(loss、warmup、optimizer、attack-training etc 10%) 记住：数据决定了AI的上线，模型和trick只是去逼近这个上线，还是那句老话：garbage in， garbage out。
神经网络学习之参数的设置原则
Great haste makes great waste
05-03 5603
网络参数确定原则：①、网络节点 网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1 BP神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。②、初始权值的确定 初
深度网络的训练经验总结(参数篇)
迷路的咸鱼的博客
04-16 4938
  （续我的上一篇博客）最早训练神经网络的时候完全什么技巧都不懂，能成功运行开源代码，并且看到loss下降就放心跑着了。随着对网络越来越多的接触，发现从数据集（train/val/test）的准备到训练超参数（例如args或者config文件）的设置都逐渐会根据经验去进行设计了。从来没有细细梳理过每一个训练小trick和其背后的依据，因此以边梳理边学习的态度，根据个人和网站上大家的总结对深度网络的...
深度学习中遇到的各种参数总结
青春正当时
11-09 4418
深度学习里面的各种参数做一个学习记录 提示：自己根据自己的理解写的，水平有限，仅供参考，如有错误，欢迎指正 个人学习记录，仅供参考深度学习里面的各种参数做一个学习记录1. batchsize，iteration，epoch2. filter，kernel_size，stride，padding3. ReLU，sigmoid，softmax4. BatchNormal，Dropout，num_classes，mini_batch5. receptive field 1. batchsize，iteratio
深度学习参数介绍&作用（持续更新）
qq_42804713的博客
08-29 5022
深度学习参数介绍
【深度学习卷积神经网络中涉及的训练参数与超参数概念理解】
热门推荐
是小武呀
07-08 1万+
【卷积神经网络中涉及的训练参数与超参数概念理解】文前白话网络超参数1. 输入图像大小2. 卷积层超参数卷积核尺寸、卷积核数量、卷积的步长3. 池化层超参数池化核尺寸、池化步长、池化方式4. 网络训练、优化超参数Epoch、Batch、Batch_size、Iteration（迭代）、学习率 Ir5.神经网络优化的改善方法reference 文前白话 在深度学习领域，参数（parameter）和超参数（hyperparameter）是两个相似但本质不同的概念。超参数是用来确定模型的一些参数，一般是根据经验和验
coursera-deep-learning-specialization:deeplearning.ai提供的Coursera深度学习专业内所有课程的笔记，编程作业和测验
03-18
Coursera上的深度学习专业化（由deeplearning.ai提供） deeplearning.ai提供的Coursera所有课程的编程作业和测验。 授课老师： 笔记 有关Coursera深度学习专业中所有课程的详细面试准备笔记，请 设置 运行setup.sh...
Matlab-Deep Learning Toolbox
04-08
Deep Learning Toolbox™提供了一个框架，用于设计和实现具有算法，预训练模型和应用程序的深度神经网络。您可以使用卷积神经网络（ConvNets，CNN）和长期短期记忆（LSTM）网络对图像，时间序列和文本数据进行分类和...
目标检测深度学习神经网络经典论文集
06-13
收录了14-19年深度学习神经网络的经典论文！收录了14-19年深度学习神经网络的经典论文！收录了14-19年深度学习神经网络的经典论文！ 重要的事说三遍！重要的事说三遍！重要的事说三遍！
分类神经网络2：ResNet模型复现
m0_73228309的博客
04-21 452
在构建神经网络时，首先采用了步长为2的卷积层进行图像尺寸缩减，即下采样操作，紧接着是多个残差结构，在网络架构的末端，引入了一个全局平均池化层，用于整合特征信息，最后是一个包含1000个类别的全连接层，并在该层后应用了softmax激活函数以进行多分类任务。：由2个3x3卷积层堆叠而成，当输入和输出维度一致时，可以直接将输入加到输出上，这相当于简单执行了同等映射，不会产生额外的参数，也不会增加计算复杂度（随着网络深度的加深，这种残差模块在实践中并不十分有效）；希望对大家能够有所帮助呀！ResNet网络通过。
分类预测 | Matlab实现CNN-LSTM-SAM-Attention卷积长短期记忆神经网络融合空间注意力机制的数据分类预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
04-21 424
分类预测 | Matlab实现CNN-LSTM-SAM-Attention卷积长短期记忆神经网络融合空间注意力机制的数据分类预测
PyTorch深度解析：Tensor——神经网络的核心构建块
huanfeng_AI的博客
04-20 984
具体来说，神经网络的输入数据被转换为Tensor，然后通过一系列的网络层进行前向传播，得到输出Tensor。在训练过程中，根据输出Tensor与真实标签之间的误差，通过反向传播算法计算梯度，并更新网络参数（这些参数也是以Tensor的形式存在的）。本文将深入探讨PyTorch中的Tensor，从其基本定义、特性、操作到实际应用，全面解析其在神经网络中的核心地位。：PyTorch中的Tensor支持多种数据类型，如float32、float64、int32等，以适应不同的计算需求。
深度学习基础：循环神经网络中的Dropout
weixin_39753819的博客
04-24 493
Dropout是一种用于深度学习模型的正则化技术，旨在减少模型的过拟合。它的基本思想是在训练过程中，随机地将一部分神经元的输出置为零，从而减少神经元之间的相互依赖关系，降低模型对特定神经元的依赖性，提高模型的泛化能力。本文介绍了Dropout在深度学习中的基本概念和原理，以及在循环神经网络中如何使用Dropout来解决过拟合问题。通过一个简单的Python示例，我们演示了如何在PyTorch中实现带有Dropout的循环神经网络，并观察了训练过程中的损失变化。
深度学习-01
qq_53568730的博客
04-23 405
监督学习通过已知的输入和输出来建立模型，使其能够预测新的输入对应的输出。机器学习算法通过统计和数学模型来分析和理解数据，从而能够自动发现数据中的模式和规律，并根据这些规律进行预测和决策。深度学习的核心是构建深层次的神经网络模型，通过大量的训练数据来自动学习和提取特征，从而实现对数据的理解、分类和预测。总而言之，深度学习是一种强大的机器学习技术，能够处理复杂的问题和大规模的数据。总而言之，机器学习是一种通过数据和算法来让计算机系统自动学习和改进的技术，它为我们提供了解决复杂问题的一种新方法。
机器学习和深度学习-- 李宏毅（笔记与个人理解）Day22
最新发布
weixin_65403042的博客
04-24 268
由于是文字接龙，所以无法考虑右边的 info。怀疑begin那里没有做 Norm是bug。仔细讲讲Residual 的过程？
卷积神经网络在Matlab中有迁移学习吗
08-28
Matlab提供了诸多函数和工具箱，例如CNN迁移学习工具箱、深度学习工具箱等，可以帮助用户进行迁移学习的实验，简化了模型调整和参数优化的过程。 总之，Matlab中的卷积神经网络可以通过迁移学习实现模型的迁移到新...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值