- 博客(8)
- 资源 (9)
- 收藏
- 关注
原创 写到哪儿算哪儿的神经网络基础-6
神经网络的优势必须再提下:从数据中学习,这里学习就是从训练数据中自动获取权重参数的过程,学习的目的是以损失函数为基准,找到使得损失值最小的权重参数。相比神经网络的优势,人工设定参数值需要的工作量非常大,特别是当参数上万上亿的时候,人工设定参数就是不可能完成的任务。一切以数据说话,机器学习(神经网络、深度学习)都是从数据中找到模式、规则、特征,根据数据讲故事...因此,数据是机器学习的核心,这种data-driven的方法可以脱离人的参与,尝试从数据中发下答案。思考一个具体的故事,比如:如何实现手写体
2021-09-23 11:47:13 132
原创 写到哪儿算哪儿的神经网络基础-5
机器学习一般是训练和推理两个阶段,使用神经网络解决问题也是首先要训练网络,归根结底就是对权重参数的学习;进行推理时,根据训练学习到的参数对输入数据进行分类、预测等等。。。小试下MNIST手写体分类。关于这个MNIST网上各种资源太多了。MNIST数据集时0-9的手写体数字图像,训练集6万张,测试集1万张。其图像数据是28*28像素的灰度图(1通道),灰度取值0-255,每张图有label。...
2021-09-22 17:59:59 193
原创 写到哪儿算哪儿的神经网络基础-4
神经网络可用在分类问题和回归问题,根据问题不同改变输出层的激活函数。回归问题用恒等函数,分类问题用softmax函数等。恒等函数对于输出层来说就是加权和直接输出,没什么可以说的,分类问题中使用的softmax函数使用一下公式:式中,表示输出层有个神经元,计算第个神经元的输出,整体来看,函数的分子是输入信号的指数函数,分母是输入信号的指数函数和。用Python写下:import NumPy as npdef softmax(a): exp_a=np.exp(a) sum
2021-08-19 14:42:07 141
原创 写到哪儿算哪儿的神经网络基础-3
当节点个数比较多的时候,显然直接用公式计算比较费劲了。这个时候线性代数就派上用场了,当下大部分神经网络运算其实就是矩阵的运算(这里例子是矩阵的乘积)。上图这个神经网络省略了偏置和激活函数,只设定了权重。import numpy as npX=np.array([1,2])W=np.array([[1,3,5],[2,4,6]])Y=np.dot(X,W)print(Y)这里具体来实现一个前向传播的3层神经网络:实现之前,先确定一些符号,比如, 上标3表示从第...
2021-08-18 21:31:24 185
原创 写到哪儿算哪儿的神经网络基础-2
聊下激活函数。之前说,激活函数是感知机和神经网络的关键点,朴素感知机其实就是一种阶跃函数为激活函数的情况。那么,如果感知机使用其他函数作为激活函数的话,我们也就进入了神经网络的大门了。以最常见的sigmoid函数为例,对比学习下它和阶跃函数的区别。公式给出来:,其中,e是纳皮尔常数2.7182...。这个函数看起来很复杂,其实也就那样吧,比如给定的值我们可以得到:这样。再看下阶跃函数,用python画图出来看看:import numpy as npimport matplot
2021-08-17 16:52:31 169
原创 写到哪儿算哪儿的神经网络基础-1
感知机理论上可以实现构建整个计算机系统,但问题是设定权重需要人工设定且很难找到合适的、符合预期的输入输出的权重值,所以,必须要找到一种自动化的求解何理权重的方法,而神经网络就是一种从数据中学习得到权重的方法。神经网络最简单的例子:图中,隐藏层有时候也叫中间层,隐藏的意思就是和输入、出层对用户不可见。便于python实现,这里对输入层编号0,隐藏层编号1,输出层编号2。显然神经网络的结构类似于感知机,但神经网络如何传递信号?回过头来看看感知机:感知机中,是偏置,用于控制神经元被激.
2021-08-11 17:29:46 303
原创 多层感知机实现XOR门
单层感知机无法实现XOR门(即,无法求解非线性问题),这个也不是什么大问题,其实可以通过“叠加层”来表示,先不管叠加层的物理意义是什么,实现了再说!XOR门通过NAND,AND,OR配置就能实现。先看下面一张表,前三个门都实现了的。那么如何组合三个基础门实现XOR?XOR门可以通过下面这种配置来(NAND+OR+AND)实现。A和B表输入信号,Y表示输出。XOR门的真值表,对应上图,替换A,替换B,是NAND门的输出,是OR门的输出。现在用py实现下:imp...
2021-08-09 16:35:29 2424
原创 DL都是从感知机开始
1.1Background:感知机perceptron, 美国学者Frank Rosenblatt 1957年提出来的,为啥现在还要提它?因为,perceptron是NN和DL算法的起源。相关定义:>=2个的输入,1个输出,其实和逻辑电路很多相似的地方。上图就是接受2个输入的例子,和是输入信号,是输出信号,和是权重,⚪是神经元或者节点,输入信号被送往神经元时,会被分别乘以固定的权重(、)。例如,神经元计算传过来的信号总和,超过某个届限值时(往往被称为阈值),可以输出1,也就是“..
2021-08-08 18:16:43 224
Web 开发敏捷之道(应用Rails 进行敏捷Web 开发第三版)
2011-10-26
vg_32026(11)visual graph 11
2011-09-27
数据挖掘概念与技术(书籍)
2009-06-04
Quick.Start.Virtools
2009-05-04
virtools 基础教材
2009-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人