课程回顾-Neural Network & Deep Learning

最新推荐文章于 2024-07-26 17:36:26 发布
最新推荐文章于 2024-07-26 17:36:26 发布
阅读量71 收藏
点赞数
文章标签： python 人工智能
原文链接：http://www.cnblogs.com/MrLJC/p/8706905.html
版权

为什么深度学习发展了
数据
计算
算法发展
Logistics Regression
Numpy
reshape的计算代价很小，所以你不确定数据维度的时候都可以放上
一些解决潜在bug的trick
做了归一化之后梯度下降更易收敛
激活函数
对于权值要做随机初始化
为什么要深层网络
Reference

为什么深度学习发展了

数据

  • 对于小量数据来说，神经网络表现比线性回归、SVM
  • 对于大量数据来说神经网络比SVM好
  • 对于大量数据来说，大的网络比小的网络好
  • 由于电脑的大量使用数据越来越多

计算

  • GPUs.
  • Powerful CPUS.
  • Distributed computing.
  • ASICs

算法发展

Relu等新的技巧提出

Logistics Regression

y=sigmoid(wTx)

Numpy

reshape的计算代价很小，所以你不确定数据维度的时候都可以放上

一些解决潜在bug的trick

  • 如果不设置向量的维度，那么默认值会是(m,)，并且转置操作不会使用，你必须将其reshape成(m,1)。尽量不要使用rank=1的矩阵
  • 计算前尝试检验维度，如assert(a.shape == (5,1))
  • 如果发现了rank=1的矩阵，做reshape

做了归一化之后梯度下降更易收敛

激活函数

  • tanh在隐层使用会比较好（mean=0）
  • sigmoid和tanh会存在问题，因为当值极小或极大会造成梯度接近零
  • relu更加常用
  • 选择激活函数的准则：如果你的分类结果是0和1，用sigmoid，否则用relu

对于权值要做随机初始化

为什么要深层网络

Reference

https://github.com/mbadry1/DeepLearning.ai-Summary





转载于:https://www.cnblogs.com/MrLJC/p/8706905.html

weixin_30729609
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DNN(Deep-Learning Neural Network)
qq_50974223的博客
04-15 335
DNN(Deep-Learning Neural Network) 接下来介绍比较常见的全连接层网络（fully-connected feedfoward nerural network） 名词解释 首先介绍一下神经网络的基本架构，以一个神经元为例 输入是一个向量，权重（weights）也是一个矩阵 把两个矩阵进行相乘，最后加上偏差（bias），即w1 * x1 + w2 * x2 + b 神经元里面会有一个激活函数（activation），比如sigmoid,Relu等等，然后将这个结果当作未知量输入
Neural Networks and Deep Learning第三周
gaoyishu91的博客
05-23 546
Overview of Neural Network回顾第一周的neural network，第一个neural network是z，第二个是theta，上一个传入下一个。拿单层神经网络来说，样本的值x1,x2...xn是input layer，是输入层；hidden layer是function layer，负责把input layer的值进行处理，然后传入output layer。传出来的值就...
【面向代码】学习 Deep Learning（一）Neural Network
热门推荐
DarkScope从这里开始
07-23 10万+
========================================================================================== 最近一直在看Deep Learning，各类博客、论文看得不少 但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng的UFLDL
Deep Learning Neural Network
ygp12345的博客
10-02 259
the history of Deep Learning 下图描述了深度学习的应用率 下图是深度学习的历史 how to do deep learning 如何去深度学习，分为以下三步： Neural Network step1 第一步就是神经网络，下图红框处就可以代表一个神经元，神经网络的参数为θ，也就是所有的w和b的集合。因为神经网络就是由若干逻辑回归构成。 下面我们来看看其中一种神经网络，完全连接前馈神经网络：就是把每根线都连上，除了初始值之外，剩下的神经元的输入就是上一次的输出，就这样一层一层的
Neural Network and Deep Learning 吴恩达教授 第二周 听课笔记
weixin_41153216的博客
07-05 439
第二周 神经网络基础2.1 二分类计算机保存图片通常是保存RGB三个通道，假设图片为64*64像素，则有三个64*64的矩阵。将所有的像素强度都输入进特征向量x，则x的长度为64*64*3，输入向量维度为n_{x}= 12288...
Neural Network & Deep Learning 完整中文版（入门经典）
10-27
神经网络与深度学习完整中文版，入门经典教材，适合新手学习
Michael Nielsen Neural Network and Deep Learning 中文版
03-25
《Michael Nielsen 的 Neural Network and Deep Learning》中文版是一本深入探讨神经网络与深度学习领域的经典著作。这本书由著名科学家Michael Nielsen撰写，旨在为读者提供一个理解、构建和应用神经网络及深度学习...
neural networks deep learning Deep Neural Network Application Homework
生物医学信息学博客
08-29 6770
Deep Neural Network for Image Classification: ApplicationWhen you finish this, you will have finished the last programming assignment of Week 4, and also the last programming assignment of this course!
神经网络和深度学习-第3周 shallow-neural-network
you1314520me的专栏
05-28 1059
NoteThis is my personal note at week 3 after studying the course neural-networks-deep-learning and the copyright belongs to deeplearning.ai.01_shallow-neural-network01_neural-networks-overviewwelcome ...
Deep learning与Neural Network
weixin_30768661的博客
07-08 118
该文章转自深度学习微信公众号 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示...
吴恩达机器学习第三周（含编程作业及python实现）
qq_41508508的博客
02-03 2196
主要内容： 逻辑回归： 分类问题。即训练集中的标签（y值）属于一个有穷集，如｛0，1｝，｛0，...，10｝。具体例子有：判断病人是否患有癌症（2种类别）；手写数字识别（10种类别）；判断学生是否挂科等等。 假设函数： 在原先线性回归函数中的 θ*X 上，再套上一层激励函数。激励函数是神经网络中的一种函数，通常是非线性的。在这里的机器学习问题上，其表示形式为 ，其中 ，（这里的θ为列向量，...
Coursera 吴恩达《神经网络与深度学习》第三周编程作业
hawkl123的博客
09-30 1342
# Package imports import numpy as np import matplotlib.pyplot as plt from testCases import * import sklearn import sklearn.datasets import sklearn.linear_model from planar_utils import plot_decisio...
Andrew Ng-Neural Networks and Deep Learning 第三周作业
luolia233的博客
02-15 1852
这周的作业倒没什么大事情发生，就是中间的一个警告看不太懂……RuntimeWarning: divide by zero encountered in log RuntimeWarning: overflow encountered in exp s = 1/(1+np.exp(-x))实际运行没什么影响，但是就是不知道为什么会警告，以及可能会有啥后果……然后那个plot出结果的图的函数就很感...
《Neural networks and deep learning》概览
wepon的专栏
03-12 3万+
最近阅读了《Neural networks and deep learning》这本书（online book，还没出版），算是读得比较仔细，前面几章涉及的内容比较简单，我着重看了第三章《Improving the way neural networks learn》，涉及深度神经网络优化和训练的各种技术，对第三章做了详细的笔记（同时参考了其他资料，以后读到其他相关的论文资料也会补充或更改），欢迎有
全网最详细Gradio教程系列5——Gradio Client: python
最新发布
shao918516的博客
07-26 614
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
随机数种子的作用
帆的博客
07-23 1249
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
安卓手机部署大模型实战
奇舞周刊
07-25 509
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
Java实现拼图小游戏
Aishangyuwen的博客
07-22 1562
Java实现拼图小游戏
大学英语 真题 neural network-deep learning
05-01
神经网络（Neural Network）是一种模拟人脑工作原理的计算机模型，由大量的神经元相互连接形成网络，通过模拟人脑神经元的信号传递和信息处理方式，实现了很多人工智能（AI）和机器学习（ML）领域的重大突破。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值