深度学习
wait_for_eva
longer
展开
-
神经网络-参数拟合
模型训练原来我们的感觉是这样的y=f(x)y = f(x)y=f(x)模型训练的细节都是使用梯度下降去进行调节的。不过这里我们被蒙蔽了一点,至少新手如我:我们是可以直接拟合的。多数的任务我们都是通过模型作为转换器,把基础输入替换到我们的目标空间。也就是间接拟合。我们的拟合无处不在,间接并非第一步,因为转换器的参数,本身就是直接拟合的。直接拟合a⇒ba \Rightarrow ...原创 2020-04-28 11:32:06 · 2127 阅读 · 0 评论 -
梯度下降对比
以下为jupyter转markdown结果,请结合上下文解读或运行import numpy as npimport matplotlib.pyplot as plt{z=f(x)=x2+5y2∂z=∂z∂x+∂z∂y=2x+10y\left\{\begin{aligned}z &=f(x) &= x^2 + 5 y^2 \\\partial z &= \...原创 2020-04-07 21:55:12 · 195 阅读 · 0 评论 -
样本分类控制
样本分类控制前面说了一个很重要的点:可以调控损失来控制网络训练。接下来详细看看在分类过程中的运用。Focal Loss基础的交叉熵CELossCELossCELossCE={−logP+−log(1−P)−CE = \left\{\begin{aligned}\begin{matrix}-\log P & +\\-\log(1-P)&-\end{matri...原创 2020-04-07 21:47:45 · 575 阅读 · 0 评论 -
损失与梯度与回传
损失函数开始的时候的,我觉得梯度最重要,但是都在强调损失函数。损失意估量预测与真实之间的差距梯度是缩小预测与真实之间的方向刚开始学习,损失函数的确比较死板,反倒是梯度给予我们更大的进步的感觉,因为计算是沿着梯度的进行的。不过,为什么损失函数会比梯度更受追捧呢?因为损失是灵活的,真正死板的,反而是梯度。梯度下降对于函数:G(H(F(x)))G(H(F(x)))G(H(F(x)))...原创 2020-04-06 01:03:12 · 3435 阅读 · 0 评论 -
深度学习-条件概率和似然估计
家里几口人当你看到一户人家里面的人,你能知道这个家庭有几口人么?时间人数早上3中午0傍晚2晚上7昨晚人到齐了么晚上都回来了么来了几个客人呢…片面的认知大象像什么如同盲人摸象一样,大象感觉总是四不像:大象像柱子大象像蒲扇大象像堵墙大象像麻绳…这种以偏概全的方法肯定招徕不少耻笑,不过承认自己的局限,效果就不...原创 2019-11-15 11:02:16 · 798 阅读 · 0 评论 -
深度学习-维度的理解
维度空间中的维度零维:点一维:线二维:面三维:体定义参考下来,最基本的维度可以定义为:一个属性(方向)。财富:穷-富身高:矮-高性别:男-女…可以是连续的,也可以是离散的,在指定属性(方向)上单一变化的,都称得上维度。高维好男人,他是这样的有钱帅气体贴…好男人和坏男人也都属于同一个维度,但是程度不一。显而易见的,我们使用了很多的维度(属性)进...原创 2019-10-29 16:12:37 · 4865 阅读 · 2 评论 -
深度学习-信息的度量和比较
什么是信息你知道么,太阳明天会从东边升起哦 !我们所谓的信息是什么呢,最直观的感受就是:让我们能够更了解什么东西上面这句话,我们无动于衷,不在于它是否则正确,而是因为我们已经知道太阳会东边升起我们已经知道太阳只会东边起如果太阳不常出现,或者太阳出现方位从不固定,它所包含的信息就更大了。那样的信息,我们就更加有欲望的知道,价值更大,也就是说信息量越大。假设不存在虚假信息,什么...原创 2019-10-26 16:20:00 · 469 阅读 · 0 评论 -
深度学习-拉格朗日乘子法
一元方程极值对于这么一个方程f(x)=ax2+bx+cf(x) = ax^2 + bx +cf(x)=ax2+bx+c它的极值这么求的呢,明确的知道解是x0=−b2ax_0 = -\Large \frac{b}{2a}x0=−2ab,但是这里是两种不同的来源。配方法f(x)=ax2+bx+c=0⇒x2+bax=−ca⇒x2+bax+(b2a)2=b2−4ac4a2⇒(x+b2a)...原创 2019-10-25 18:30:46 · 814 阅读 · 0 评论 -
深度学习-线性回归推导
线性表示f(x)=θ0+θ1x1+⋯+θnxn\Large f(x) = \theta_0 + \theta_1x_1 + \cdots+\theta_nx_nf(x)=θ0+θ1x1+⋯+θnxn记作f(x)=[θ0θ1⋯θn]×[1x1 ⋮xn]=θTx\Large f(x) = \left[ \begin{matrix} \theta_0 &\...原创 2019-04-29 21:06:21 · 210 阅读 · 0 评论 -
深度学习-简单门电路
基本门电路基本逻辑NOTinputoutput1001ANDinput_1input_2output000010100111ORinput_1input_2output000011101111逻辑组合本质来说,逻辑判...原创 2019-04-24 22:27:43 · 647 阅读 · 0 评论 -
深度学习-矩阵变换
矩阵求逆性质(AT)T=A(A^T)^T = A(AT)T=A(λA)T=λAT(\lambda A)^T = \lambda A^T(λA)T=λAT(A±B)T=AT±BT(A \pm B) ^T = A^T \pm B^T(A±B)T=AT±BT(A×B)T=BT×AT(A \times B)^T = B^T \times A^T(A×B)T=BT×AT矩阵求导性质...原创 2019-04-28 22:12:49 · 521 阅读 · 0 评论 -
深度学习-三层网络
一次抽取f(x)=ax+bf(x) = ax + bf(x)=ax+b现在,为了更好描述多元的情况,我们这样进行描述F(X)=X×W+BF(X) = X \times W + BF(X)=X×W+B通过矩阵进行直接描述,就方便多了。前面说了,这种方法只关乎输入\输出,所以我们需要设定好W和B。我们就计算这么一个例子好了f(x,y,z)=3x+2y−4z+5f(x, y, z...原创 2019-04-27 18:45:15 · 687 阅读 · 0 评论 -
深度学习-简单矩阵运算
创建矩阵数组创建import numpy as nparr = [[1,2,3],[4,5,6],[7,8,9]]array = numpy.array(arr)mat1 = np.mat(arr)mat2 = np.mat(array)mat,关键方法就是它了,我们可以直接传入数组进行构建,array也可以。构造技巧ravelimport numpy as npar...原创 2019-04-27 17:26:01 · 1041 阅读 · 0 评论 -
深度学习-维度的理解
属性属性个体身高:身高:175cm身高:身高:175cm身高:身高:175cm基本的属性总包含这两方面信息:属性标签属性度量对于单属性个体而言,属性度量是准确的定位的x身高=175cmx_{身高} = 175cmx身高=175cm属性集合都是单属性,但是有可能对应多个的样本,如果存在175,168,129,137175,168,129,137175,168,129,...原创 2019-05-01 22:15:29 · 4896 阅读 · 0 评论 -
深度学习-特征传递
函数的计算一元函数f(x)=ax+bf(x) = ax + bf(x)=ax+b求值:一次性计算求解:需要两组数值多元函数f(x,y)=ax+by+cf(x,y) = ax + by + cf(x,y)=ax+by+c感知机的特性,每次都是线性划分,即使多输入的情况,也决定了它是多元一次函数。为了分离输入和特征值,我们可以这样描述多元函数。F(x1,...,xn)=[...原创 2019-04-26 23:23:34 · 1425 阅读 · 0 评论 -
深度学习-简单绘图
基本环境python的绘图,尤其是函数一类,基本都会选择matplotlib。有问题可以参考这个进行安装。no nodule named tkinter有些人使用matplotlib的时候,会提示这个错误。网上大多的解决办法,都是下载python3-tk,而且是在linux上的操作。windows上面并不能按照这种方式解决,也找不多对应的包,换了好几个源也找不到。python3的tki...原创 2019-04-25 21:35:51 · 940 阅读 · 0 评论