![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deep learning - 深度学习
文章平均质量分 72
Yongqiang Cheng
既然选择了远方 便只顾风雨兼程 - 永强
展开
-
多层感知器的基本特征
多层感知器的基本特征 Rosenblatt 感知器本质上是一个单层神经网络,这一网络局限于线性可分模式的分类问题。自适应滤波采用了 Widrow 和 Hoff 的 LMS 算法。这一算法也是基于权值可调的单个线性神经元,这也限制了这一算法的计算能力。为了克服感知器和 LMS 算法的实际局限,我们考虑所熟知的多层感知器这一神经网络结构。 下面的三点揭示了多层感知器的基本特征:1. 网络中每个神经元模型包含一个可微的非线性激活函数。2. 网络中包括一个或多个隐藏在输人和输出神...原创 2018-04-22 18:06:33 · 3063 阅读 · 0 评论 -
先验知识结合进神经网络的设计中
先验知识结合进神经网络的设计中 如果存在先验信息和不变性,应该将其附加在网络设计中,这样就不必学习这些信息而简化网络设计。 该规则特别重要,因为真正坚持这一规则就会使网络具有特定结构。这一点正是我们需要的。原因如下:1. 己知生物视觉和听觉网络是非常特别的。2. 相对于完全连接网络,特定网络用于调节的自由参数是较少的。因此,特定网络所需的训练数据更少,学习更快而且常常泛化性能更强。3. 能够加快通过特定网络的信息传输速率 (即网络的吞吐量)。4. 和全连接网络相比特...原创 2018-04-22 19:01:01 · 6257 阅读 · 0 评论 -
训练多层感知器 - 前向阶段 & 反向阶段
训练多层感知器 - 前向阶段 & 反向阶段 训练多层感知器的一个流行方法是反向传播算法,这包含 LMS 算法作为一个特例。训练分为如下的两个阶段: 1. 前向阶段,网络的突触权值是固定的,输人信号在网络中一层一层传播,直到到达输出端。在这一阶段,输人信号的影响限制在网络中激活隐藏神经元和输出神经元上。 2. 反向阶段,通过比较网络的愉出和期...原创 2018-04-10 20:44:01 · 856 阅读 · 0 评论 -
Dive into Deep Learning - 动手学深度学习
Dive into Deep Learning - 动手学深度学习Dive into Deep Learninghttps://d2l.ai/https://en.d2l.ai/d2l-en.pdf动手学深度学习https://zh.d2l.ai/https://zh.d2l.ai/d2l-zh.pdfDive into Deep Learning - GitHubhttps://github.com/d2l-ai/d2l-en动手学深度学习 - GitHubhttps://github原创 2019-06-07 23:23:10 · 9347 阅读 · 1 评论 -
动手学深度学习 - 11.5. GPU 购买指南
动手学深度学习 - 11.5. GPU 购买指南动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/11.5. GPU 购买指南深度学习训练通常需要大量的计算资源。GPU 目前是深度学习最常使用的计算加速硬件。相对于 CPU 来说,GPU 计算更加密集。一方面,相同计算能力的 GPU 的价格一般是 CPU 价格的十分之一;另一方转载 2019-06-14 19:37:48 · 1227 阅读 · 0 评论 -
动手学深度学习 - 3. 深度学习基础
动手学深度学习 - 3. 深度学习基础动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/3. 深度学习基础作为机器学习的一类,深度学习通常基于神经网络模型逐级表示越来越抽象的概念或模式。线性回归和 softmax 回归是两种单层神经网络。深度学习中应对过拟合的常用方法:权重衰减和丢弃法。单层神经网络:线性回归和 softma转载 2019-06-12 20:19:04 · 765 阅读 · 0 评论 -
神经网络 - 学习算法
神经网络 - 学习算法用于完成学习过程的程序称为学习算法,其功能是以有序的方式改变网络的突触权值以获得想要的设计目标。1. 神经网络是通过学习过程从外界环境中获取知识的。2. 互连神经元的连接强度,即突触权值,用于存储获取的知识。References(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572...原创 2018-04-05 10:18:54 · 415 阅读 · 0 评论 -
神经网络 - 泛化 (generalization)
神经网络 - 泛化 (generalization)泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。References(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572...原创 2018-04-05 10:10:09 · 4844 阅读 · 0 评论 -
动手学深度学习 - 5. 卷积神经网络
动手学深度学习 - 5. 卷积神经网络动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/5. 卷积神经网络卷积神经网络是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。卷积神经网络中卷积层和池化层的工作原理,填充、步幅、输入通道和输出通道的含义。深度卷积转载 2019-06-07 23:22:09 · 448 阅读 · 0 评论 -
零基础入门深度学习
零基础入门深度学习《零基础入门深度学习》学习网址如下:https://www.zybuluo.com/hanbingtao/note/433855零基础入门深度学习 - 感知器零基础入门深度学习 - 线性单元和梯度下降零基础入门深度学习 - 神经网络和反向传播算法零基础入门深度学习 - 卷积神经网络零基础入门深度学习 - 循环神经网络零基础入门深度学习 - 长短时记忆网络(LSTM)零基础入门深度学习 - 递归神经网络...翻译 2017-11-22 14:02:51 · 810 阅读 · 0 评论 -
Amazon Rekognition - 对象和场景检测
Amazon Rekognition - 对象和场景检测https://amazonaws-china.com/cn/rekognition/faqs/什么是标签?标签是基于其内容在图像中找到的对象、场景或概念。例如,热带海滩上的人物照片可能包含人物、水、沙、棕榈树和泳装 (对象)、海滩 (场景)、户外 (概念) 等标签。什么是置信度得分,如何使用它?置信度得分是一个介于 0 与 100 之间的数字,用于指示给定预测正确的概率。以上面的热带海滩为例,如果对象和场景检测过程对于标签水返回翻译 2017-12-03 18:18:22 · 713 阅读 · 0 评论 -
Amazon Rekognition - 面部比较
Amazon Rekognition - 面部比较https://amazonaws-china.com/cn/rekognition/faqs/什么面部比较?面部比较是将一副面孔与一副或多副面孔进行比较以测量相似性的过程。借助 CompareFaces API,您可以通过 Amazon Rekognition 测量两张图像中的面部属于同一个人的可能性。API 将源输入图像中的面孔与在目标输入图像中检测到的每副面孔进行比较,并针对每次比较返回相似度得分。您还能够获得检测到的每副面孔的边界框和置信翻译 2017-12-03 20:01:30 · 487 阅读 · 0 评论 -
Intersection over Union - IU - IoU - 交并比 (2)
Intersection over Union - IU - IoU - 交并比 (2)Fully Convolutional Networks for Semantic Segmentation.检测物体轮廓不一定是方框,也可以是沿着物体的边线。mean IU 指的是不同类别识别准确度的平均值。一幅图中要识别三个物体,mean IU 就是三个物体分别准确度加起来的平均值。semantic [sɪ'mæntɪk]:adj. 语义的,语义学的 (等于 semantical)...原创 2018-07-05 19:32:15 · 908 阅读 · 0 评论 -
Intersection over Union - IoU - 交并比 (1)
Intersection over Union - IoU - 交并比 (1)1. Intersection over Union(IoU,交并比)The IoU is the ratio of the overlapping area of ground truth and predicted area to the total area. Here is a visual explanation of the metric:2. Intersection over Union (IoU,.原创 2018-07-04 23:37:48 · 2264 阅读 · 0 评论 -
图像处理技术资料库 - pyimagesearch
图像处理技术资料库 - pyimagesearchhttps://www.pyimagesearch.com/You can master Computer Vision, Deep Learning, and OpenCV.原创 2018-07-02 20:37:19 · 4556 阅读 · 7 评论 -
动手学深度学习 - 9. 计算机视觉
动手学深度学习 - 9. 计算机视觉动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/9. 计算机视觉近年来,深度学习技术深刻推动了计算机视觉系统性能的提升。当下最先进的计算机视觉应用几乎离不开深度学习。两种有助于...转载 2019-06-22 09:01:26 · 395 阅读 · 0 评论 -
动手学深度学习 - 9.3. 目标检测和边界框
动手学深度学习 - 9.3. 目标检测和边界框动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/9.3. 目标检测和边界框在图像分类任务里,我们假设图像里只有一个主体目标,并关注如何识别该目标的类别。然而,很多时候图像里有多个我们感兴趣的目标,我们不仅想知道它们的类别,还想得到它们在图像中的具体位置。在计算机视觉里,我们将这类转载 2019-06-22 12:32:23 · 1782 阅读 · 3 评论 -
data set - dataset
data set - dataset1. PERSON DATASETIrvine_Spectrum_Center datasetDisney_Springs datasetDowntown_Disney_District datasetMicrosoft_Ignite_and_Microsoft_Envision datasetCOCO datasetPascal_VOC datasetPeet’s_CoffeeMall_of_AmericaIKEA_LIVAT dataset2.原创 2018-11-08 11:09:56 · 527 阅读 · 0 评论 -
动手学深度学习 - 11.2. 数学知识
动手学深度学习 - 11.2. 数学知识动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/11.2. 数学知识11.2.1. 线性代数11.2.1.1. 向量本书中的向量指的是列向量。一个 nnn 维向量 x\boldsymbol{x}x 的表达式可写成x=[x1x2⋮xn],\boldsymbol{x} = \be转载 2019-06-07 23:21:29 · 371 阅读 · 0 评论 -
动手学深度学习 - 11.1. 数学符号 (notation)
动手学深度学习 - 11.1. 数学符号 (notation)动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/11.1.1. 数xxx:标量x\boldsymbol{x}x:向量X\boldsymbol{X}X:矩阵X\mathsf{X}X:张量11.1.2. 集合X\mathcal{X}X:集合R\mat转载 2019-06-07 23:22:41 · 1347 阅读 · 0 评论 -
Netscope - Caffe‘s prototxt 可视化工具
Netscope - Caffe’s prototxt 可视化工具http://ethereon.github.io/netscope/quickstart.htmlA web-based tool for visualizing neural network architectures (or technically, any directed acyclic graph). It currently supports Caffe's prototxt format.1. Gist Support翻译 2018-11-26 17:49:56 · 756 阅读 · 1 评论 -
Rectifier (neural networks) - 整流函数
Rectifier (neural networks) - 整流函数https://en.wikipedia.org/wiki/Rectifier_(neural_networks)线性整流函数 / 线性修正单元 (Rectified Linear Unit,ReLU) 是一种人工神经网络中常用的激活函数 (activation function),通常指代以斜坡函数及其变种为代表的非线性函数。常用的线性整流函数有斜坡函数 f(x)=max(0,x)f(x) = \max(0, x)f(x)=max原创 2019-06-24 23:15:47 · 4218 阅读 · 0 评论 -
Convolutional Neural Network (CNN or ConvNet) 卷积核的大小一般都是奇数*奇数
Convolutional Neural Network (CNN or ConvNet) 卷积核的大小一般都是奇数*奇数在 Convolutional Neural Network (CNN or ConvNet) 中,卷积核的大小几乎都是奇数*奇数 (5∗55*55∗5,3∗33*33∗3,1∗11*11∗1)。The LeNet-5 architecture consists of two sets of convolutional and average pooling layers, fol翻译 2019-08-24 16:20:32 · 1657 阅读 · 0 评论 -
深度学习工程师
深度学习工程师由 deeplearning.ai 出品,正版授权中文版深度学习工程师课程。翻译 2019-08-24 16:37:20 · 289 阅读 · 0 评论 -
Netron - 网络可视化
Netron - 网络可视化Lutz Roederhttps://github.com/lutzroeder/netronhttps://www.lutzroeder.com/aiNetron is a visualizer for neural network, deep learning and machine learning models. It runs on macOS, Windows, Linux and in the browser.Netron 是神经网络、深度学习和机器学原创 2019-10-23 13:30:07 · 4335 阅读 · 0 评论 -
Deep Systems
Deep Systemshttps://deepsystems.ai/https://deepsystems.ai/reviewshttps://medium.com/@deepsystemsRocket up your business with Deep Systems (使用 Deep Systems 推动您的业务发展)Artificial intelligence for real problems.From idea to product. (从构思到产品。)Lectures + B翻译 2019-10-28 07:40:18 · 325 阅读 · 0 评论 -
Deep Learning
Deep Learninghttp://www.deeplearningbook.org/An MIT Press bookIan Goodfellow and Yoshua Bengio and Aaron CourvilleDeep LearningTable of ContentsAcknowledgementsNotation1 IntroductionPart I: Applied Math and Machine Learning Basics2 Linear Algeb翻译 2019-11-12 13:50:01 · 300 阅读 · 0 评论 -
Unsupervised Feature Learning and Deep Learning Tutorial - UFLDL Tutorial
Unsupervised Feature Learning and Deep Learning Tutorial - UFLDL Tutorialhttp://ufldl.stanford.edu/tutorial/Welcome to the Deep Learning Tutorial!Description: This tutorial will teach you the main ideas of Unsupervised Feature Learning and Deep Learning翻译 2019-11-17 09:32:42 · 355 阅读 · 0 评论 -
Neural Networks and Deep Learning - 神经网络与深度学习
Neural Networks and Deep Learning - 神经网络与深度学习Neural Networks and Deep Learninghttp://neuralnetworksanddeeplearning.com/神经网络与深度学习https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/https://www.gitbook.com/book/hit-scir/neural-n翻译 2019-11-12 14:23:39 · 1034 阅读 · 0 评论 -
Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化
Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化Neural Networks and Deep Learninghttp://neuralnetworksanddeeplearning.com/index.html神经网络与深度学习https://legacy.gitbook.com/book/hit-scir/neural-networks-and-deep-learn翻译 2019-11-17 13:06:22 · 2924 阅读 · 0 评论 -
Occam‘s razor - 奥卡姆剃刀
Occam’s razor - 奥卡姆剃刀Occam’s razor (Ockham’s razor or Ocham’s razor: Latin: novacula Occami; or law of parsimony: Latin: lex parsimoniae) is the problem-solving principle that states “Entities should not be multiplied without necessity.” The idea is attri原创 2019-11-17 14:37:14 · 1332 阅读 · 0 评论 -
循环神经网络 - 卷积神经网络
循环神经网络 - 卷积神经网络传统的机器学习算法非常依赖于人工提取的特征,使得基于传统机器学习的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈。基于全连接神经网络的方法存在参数太多、无法利用数据中时间序列信息等问题。循环神经网络的主要用途是处理和预测序列数据。全连接神经网络或卷积神经网络模型中,网络结构都是从输入层到隐含层再到输出层,层与层之间是全连接或部分连接的,但每层之间的节点是无连接的。循环神经网络的来源就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上,循环神经网络会原创 2020-03-10 18:50:26 · 1860 阅读 · 0 评论 -
TensorFlow 正则化 (regularization) 与过拟合
TensorFlow 正则化 (regularization) 与过拟合1. L1L1L1 L2L2L2 正则化与过拟合在使用梯度下降优化神经网络时,被优化的函数就是神经网络的损失函数。这个损失函数刻画了在训练数据集上预测结果和真实结果之间的差距。然而在真实的应用中,我们想要的并不是让模型尽量模拟训练数据的行为,而是希望通过训练出来的模型对未知的数据给出判断。模型在训练数据上的表现并不一定代表了它在未知数据上的表现。过拟合问题就是可以导致这个差距的一个很重要因素。过拟合指的是当一个模型过为复杂之后,它翻译 2019-11-17 13:15:15 · 1043 阅读 · 0 评论 -
epoch - iteration - batch
epoch - iteration - batch1. darknethttps://github.com/AlexeyAB/darknetmAP will be calculated for each 4 Epochs using valid=valid.txt file that is specified in obj.data file.1 Epoch = images_in_train_txt / batch iterations# Trainingbatch=64epoch [ˈi原创 2020-01-10 13:13:21 · 575 阅读 · 0 评论 -
Training set - Validation set - Test set - Development set (dev set)
Training set - Validation set - Test set - Development set (dev set)1. Training set - Validation set - Test setTraining set: The data you will use to train your model. This will be fed into an algorithm that generates a model. Said model maps inputs t原创 2020-06-03 00:21:44 · 1374 阅读 · 0 评论 -
batch normalization - layer normalization - instance normalization - group normalization
batch normalization - layer normalization - instance normalization - group normalizationfeature normalization (batch normalization - layer normalization - instance normalization - group normalization)1. 4D tensor (N×C×H×WN \times C \times H \times WN×C×H原创 2020-06-14 21:46:40 · 776 阅读 · 0 评论 -
神经网络与深度学习
神经网络与深度学习https://www.coursera.org/learn/neural-networks-deep-learning/Coursera 致力于普及全世界最好的教育,它与全球一流大学和机构合作提供在线课程。https://www.coursera.org/Andrew NgIntroduction to deep learningNeural Networks BasicsShallow neural networksDeep Neural Networks...翻译 2019-11-12 13:51:22 · 192 阅读 · 0 评论 -
Kaiming He 何恺明
Kaiming He 何恺明References人工智能 - 深度学习 - 知识体系http://kaiminghe.com/index.html原创 2019-12-14 14:19:27 · 15951 阅读 · 0 评论 -
探测概率 - 虚警概率 (Neyman - Pearson 准则)
探测概率 - 虚警概率 (Neyman - Pearson 准则) 如果某个特征很重要,那么网络表示这个向量将涉及大量神经元。 例如,考虑用雷达来探测混杂状态 (雷达从不期望的目标如建筑物、树木和云层的反射) 下的日标 (例如航空器)。这样的雷达系统的探测性能由下面两种概率形式来衡量: 探测概率,就是目标存在时系统判断目标出现的概率。 虚警概率,就是目标不存在时系统判断目标出现的概率。 根据 Neyman - Pearson 准...原创 2018-04-22 18:28:44 · 27269 阅读 · 7 评论 -
N, C, H, W, D
N, C, H, W, D1. N, C, H, W, DPython API -> mxnet.gluon -> gluon.nnhttps://mxnet.cdn.apache.org/versions/1.7/api/python/docs/api/gluon/nn/index.htmlN, C, H, W, D stands for batch, channel, height, width and depth dimensions respectively.2. N, C,原创 2020-09-16 23:24:48 · 1348 阅读 · 0 评论