![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 91
SusanLovesTech
从小白开始学习
展开
-
论文阅读之推荐1-Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation1.0 摘要总结参考文章1.0 摘要总结参考文章https://arxiv.org/pdf/2001.04253.pdfhttps://github.com/fajieyuan/sigir2020_peterrechttps://cloud.tencent.com/developer/article/163003原创 2021-03-17 11:59:27 · 1814 阅读 · 0 评论 -
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation讲解
大家好, 今天为大家分享的是来自腾讯的一篇收录到顶会SIGIR的一篇论文, Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation,论文共有11页,我大概会用25分钟左右的时间为大家进行讲述,如果有小伙伴之前有看过这篇文章,那么在讲述的过程中发现有些遗漏或者理解有偏差的话,欢迎及时指正; 现在正式开始,首先介绍一下作者,一作是原发杰博士, 攻读博士及腾讯工作期间主要从事机器学习相原创 2021-03-16 20:30:05 · 893 阅读 · 0 评论 -
深度学习-卷积神经网络发展
文章目录1. LeNet(1998)2. AlexNet(2012)3. VGG(2014)3.1 网络结构3.2 其他细节4. Inception Net(2014)4.1 Inception V1(GoogLeNet)4.2 Inception V2(2015)4.3 Inception V3(2015)4.3.1 关于四条设计神经网络的原则4.3.2 关于如何分解大卷积核的卷积层4.3.3 ...原创 2020-03-17 23:18:58 · 2707 阅读 · 0 评论 -
校招算法岗面试-2
百度一面(视频)基础知识神经网络中,一些基础网络的进化设置不同卷积和大小的原因inceptionnet的1*1卷积目的,为了提高训练准确度做的改进神经网络的评价标准,auc的目的,roc精确率,准确率,召回率C++容器Redis用在哪里,特点是什么LR的损失函数CTR,NLPword2vec编程逆序二维矩阵,统计非零数的个数百度二面(视频)基础知识损失不收敛的...原创 2020-02-24 14:13:21 · 210 阅读 · 0 评论 -
校招算法岗面试-1
文章目录机器学习CV算法岗面试-基础知识部分:机器学习CV算法岗面试-代码部分机器学习CV算法岗面试-基础知识部分:MobileNet的特点,以及v1-v3的提升点Yolo系列特点及每次的改进,多尺度体现在哪里,损失函数的改进Darknet的特点,19,53卷积的计算量和参数量的计算卷积,池化的前向传播和反向传播的具体计算(带入具体的值进行推导)BN层的作用已经 γ\gammaγ和...原创 2020-02-18 22:14:36 · 345 阅读 · 0 评论 -
实习中的小技能-CV算法篇-3
文章目录numpy中reshape和transpose的区别python魔术方法numpy中reshape和transpose的区别reshape是平铺之后重新reshape,transpose直接换位置,不进行平铺import numpy as npa=np.arange(12)print('****a*****\n')print(a)print('\n\n****reshape...原创 2019-12-14 14:28:04 · 130 阅读 · 0 评论 -
实习中的小技能-CV算法篇-2
目录 1. Pytorch2Caffe2. 数据增强-imgaug3. 图片归一化3.1 Pytorch3.2 PIL3.3 OpenCV1. Pytorch2CaffePytorch2caffeexample路径下可直接转,如有全局平均池化,需自己在prototxt中加入,测试squeezenet没有问题2. 数据增强-imgaugimport randomfrom imgaug i...原创 2019-12-14 13:42:09 · 480 阅读 · 0 评论 -
深度学习基础之-2.6标签值归一化
提出问题在计算Loss时,会达到172.287,337.246这样大的数值,一般Loss都应该小于1.解决问题标签值也归一化公式如下:(1)ynew=y−yminymax−ymin=y−yminyrangey_{new} = \frac{y-y_{min}}{y_{max}-y_{min}} = \frac{y-y_{min}}{y_{range}} \tag{1}ynew=ymax−...转载 2019-05-18 11:50:48 · 10171 阅读 · 9 评论 -
深度学习基础之-3.1分类
二分类问题我们先看看如何用神经网络在两组不同标签的样本之间画一条明显的分界线。这条分界线可以是直线,也可以是曲线。这就是二分类问题。如果只画一条分界线的话,无论是直线还是曲线,我们用一支笔,即一个神经元,就可以达到目的。线性二分类非线性二分类多分类问题如果有三个以上的分类同时存在,我们需要对每一类别分配一个神经元,这个神经元的作用是根据前端输入的各种数据,先做线性...转载 2019-05-18 12:10:33 · 460 阅读 · 0 评论 -
深度学习基础之-3.2线性二分类
二分类原理分类函数对率函数Logistic Function,本身是激活函数,又可以当作二分类的分类函数。公式a(z)=11+e−za(z) = \frac{1}{1 + e^{-z}}a(z)=1+e−z1导数a′(z)=a(z)(1−a(z))a^{'}(z) = a(z)(1 - a(z))a′(z)=a(z)(1−a(z))输出值域[0,1][0,1][...转载 2019-05-18 13:28:02 · 1533 阅读 · 0 评论 -
深度学习基础之-3.3线性二分类的神经网络实现
线性二分类的神经网络实现提出问题回忆历史,公元前206年,楚汉相争,当时刘邦项羽麾下的城池地理位置如下:0.红色圆点,项羽的城池1.绿色叉子,刘邦的城池其中,在边界处有一些红色和绿色重合的城池,表示双方激烈争夺的拉锯战。样本序号123…119经度相对值0.0254.109…7.767纬度相对值3.4088.012…1.872...转载 2019-05-18 20:21:44 · 3188 阅读 · 1 评论 -
深度学习基础之-3.4神经网络多分类
分类函数 - Softmax为什么叫做Softmax?假设输入值是:[3,1,-3],如果取max会变成:[1,0,0],这符合我们的分类需要。但是max操作本身不可导,无法用在反向传播中,所以加了个"soft"来模拟max的行为。公式aj=ezj∑i=1mezi=ezjez1+ez2+⋯+ezm a_j = \frac{e^{z_j}}{\sum\limits_{i=1}^m e^{z_...转载 2019-05-18 21:40:42 · 9199 阅读 · 0 评论 -
深度学习-数学基础
1. 线性代数1 线性代数:向量Vector,可以使任意维度标量Scalar矩阵Matrix,来自相同的向量空间的向量构成矩阵张量Tensor2 矩阵运算加减乘,转置两个列向量点成值为一个张量矩阵的秩,极大无关组的个数单位矩阵矩阵行列式矩阵的逆向量标准化伪逆矩阵单位向量和向量投影特征向量,特征值协方差矩阵矩阵的特征方程特征值和特征向量没有指定向量空间...原创 2019-07-10 22:43:43 · 523 阅读 · 0 评论 -
深度学习基础-从感知机(神经元)说起
1 感知机在机器学习中,感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别(取+1和-1)。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面,为求得超平面导入了基于误分类的损失函数,利用梯度下降法 对损失函数进行最优化(最优化)。如上图所示,输入任意的特征向量x′∈Rn×1\boldsymbol{x}&a...原创 2019-07-11 17:49:14 · 503 阅读 · 0 评论 -
深度学习基础之-2.5正规方程Normal Equations
正规方程 Normal Equations对于线性回归问题,除了前面提到的最小二乘法可以解决一元线性回归的问题外,对于多元线性回归,可以用正规方程来解决,也就是得到一个数学上的解析解。它可以解决下面这个公式描述的问题:(1)y=a0+a1x1+a2x2+⋯+akxky=a_0+a_1x_1+a_2x_2+\dots+a_kx_k \tag{1}y=a0+a1x1+a2x2+⋯+ak...转载 2019-05-17 18:03:11 · 526 阅读 · 1 评论 -
深度学习基础之-2.4梯度下降的三种形式(单变量,全批量,小批量)
单变量随机梯度下降(SDG(Stochastic Grident Descent))正向计算过程:Zn×1=Wn×f⋅Xf×1+Bn×1Z^{n \times 1}=W^{n \times f} \cdot X^{f \times 1} + B^{n \times 1}Zn×1=Wn×f⋅Xf×1+Bn×1 An×1=a(Z)A^{n \times 1}=a(Z)An×1=a(Z)反向计算过...转载 2019-05-17 17:50:44 · 928 阅读 · 0 评论 -
深度学习基础之-2.3简单的神经网络(单个输入/多个输入)做线性回归+特征值归一化
输入层它在输入层只接受一个输入,经过参数w,b的计算后,直接输出结果。这样一个简单的“网络”,只能解决简单的一元线性回归问题,而且由于是线性的,我们不需要定义激活函数,这就大大简化了程序,而且便于大家循序渐进地理解各种知识点。下面,我们在这个最简的线性回归的例子中,来说明神经网络中最重要的反向传播和梯度下降的概念和过程以及编码实现。X=(x1x2…x200) X=\begin{pmatrix}...转载 2019-05-17 17:00:46 · 11672 阅读 · 4 评论 -
深度学习基础之-4.2非线性回归-单入单出双层神经网络回归/拟合实例全过程
提出问题目的:验证前馈神经网络的万能近似定理。神经网络的万能近似定理:一个前馈神经网络如果具有线性层和至少一层具有"挤压"性质的激活函数(如signmoid等),给定网络足够数量的隐藏单元,它可以以任意精度来近似任何从一个有限维空间到另一个有限维空间的borel可测函数。要相符上面的定理,也就是想拟合任意函数,一个必须点是“要有带有“挤压”性质的激活函数”。这里的“挤压”性质是因为早期对神经...转载 2019-05-19 10:14:48 · 3667 阅读 · 3 评论 -
深度学习基础之-5.1非线性分类-二分类(神经元解决异或问题)
逻辑异或门样本1234x10011x20101y0110理想分类结果实践证明两层神经网络可以解决问题。我们可以模拟这个思路,用两层神经网络搭建如下模型:输入层两个特征值x1, x2 {(0, 0),(0, 1),(1,0),(1, 1)}隐层2x2的权重矩阵和2x1的偏移矩阵隐层由两个神经元构成输出层有一个神经元使...转载 2019-05-19 15:37:12 · 5438 阅读 · 0 评论 -
深度学习基础之-5.2非线性分类-多分类
提出问题有如下1000个样本和标签:样本序号123…1000x10.00918670.10245588-0.41033773…-0.20625644x20.006666770.209478820.18172314…0.19683694y123…2还好这个数据只有两个特征,所以我们可以用可视化的方法展示,如下图:定义...转载 2019-05-19 16:06:04 · 1591 阅读 · 0 评论 -
深度学习基础之-6.1卷积神经网络
卷积的数学定义(1)h(x)=(f∗g)(x)=∫−∞∞f(t)g(x−t)dth(x)=(f*g)(x) = \int_{-\infty}^{\infty} f(t)g(x-t)dt \tag{1}h(x)=(f∗g)(x)=∫−∞∞f(t)g(x−t)dt(1)卷积与傅里叶变换有着密切的关系。利用这点性质,即两函数的傅里叶变换的乘积等于它们卷积后的傅里叶变换,能使傅里叶分析中许多问题的处...转载 2019-05-19 21:35:04 · 304 阅读 · 0 评论 -
深度学习基础之-0.0写在前面
摘要笔者涉及深度学习不到一年时间,入手的时候直接从几大经典的卷积神经网络入手,AlexNet,GoogLeNet,FCN入手,有点空中造楼阁的意味。很是不结实,建议从读者们不要像我这样,基本的知识是需要搞清楚的。趁着最近有点时间,抓紧补了补之前的知识,在未来的几章中均是参考github上一个大神之作,浅显易懂。如果有能阅读数学公式的插件,可以直接阅读大神的文章。这篇博客是我总结完关于深度学习...原创 2019-05-19 22:49:32 · 170 阅读 · 0 评论 -
深度学习基础之-1.1线性反向传播
线性的例子z=x⋅yz = x \cdot yz=x⋅y其中:x=2w+3bx = 2w + 3bx=2w+3by=2b+1y = 2b + 1y=2b+1计算图如下:注意这里x, y, z不是变量,只是计算结果。w, b是才变量。因为在后面要学习的神经网络中,我们要最终求解的是w和b的值,在这里先预热一下。当w = 3, b = 4时,会得到如下结果最终的z值,受到了前面很多...转载 2019-05-16 16:38:49 · 1816 阅读 · 0 评论 -
深度学习基础之-1.2非线性反向传播
非线性的例子在上面的线性例子中,我们可以发现,误差一次性地传递给了初始值w和b,即,只经过一步,直接修改w和b的值,就能做到误差校正。因为从它的计算图看,无论中间计算过程有多么复杂,它都是线性的,所以可以一次传到底。缺点是这种线性的组合最多只能解决线性问题,不能解决更复杂的问题。这个我们在神经网络基本原理中已经阐述过了,需要有激活函数连接两个线性单元。下面我们看一个非线性的例子。【课堂练习:...转载 2019-05-16 17:35:08 · 688 阅读 · 0 评论 -
深度学习基础之-1.3梯度下降
从自然现象中理解梯度下降在绝大多数文章中,都以“一个人被困在山上,需要迅速下到谷底”来举例,这个人会“寻找当前所处位置最陡峭的地方向下走”。这个例子中忽略了安全因素,这个人不可能沿着最陡峭的方向走,要考虑坡度。在自然界中,梯度下降的最好例子,就是泉水下山的过程:水受重力影响,会在当前位置,沿着最陡峭的方向流动,有时会形成瀑布(梯度下降)水流下山的路径不是唯一的,在同一个地点,有可能有多...转载 2019-05-16 21:08:45 · 353 阅读 · 0 评论 -
深度学习基础之-1.4损失函数
损失函数损失就是所有样本的误差的总和,亦即: 损失=∑i=1m误差i损失 = \sum^m_{i=1}误差_i损失=i=1∑m误差i在黑盒子的例子中,我们如果说“某个样本的损失”是不对的,只能说“某个样本的误差”,如果我们把神经网络的参数调整到完全满足一个样本的输出误差为0,通常会令其它样本的误差变得更大,这样作为误差之和的损失函数值,就会变得更大。所以,我们通常会在根据某个样本的误差调整...转载 2019-05-16 21:58:31 · 1557 阅读 · 0 评论 -
深度学习基础之-1.5交叉熵损失函数
交叉熵交叉熵(Cross Entropy)是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。在信息论中,交叉熵是表示两个概率分布p,q的差异,其中p表示真实分布,q表示非真实分布,那么H(p,q)就称为交叉熵:H(p,q)=∑ipi⋅log1qi=−∑ipilogqiH(p,q)=\sum_i p_i \cdot log {1 \over q_i} = - \su...转载 2019-05-16 22:37:54 · 1002 阅读 · 2 评论 -
深度学习基础之-1.6均方差损失(MSE)
均方差函数(MSE Mean Square Error)计算预测值和真实值之间的欧式距离。预测值和真实值越接近,两者的均方差就越小均方差函数常用于线性回归(linear regression),即函数拟合(function fitting)。公式J(w,b)=12m∑i=1m(ai−yi)2 J(w,b)=\frac{1}{2m} \sum_{i=1}^m (a_i-y_i)^2 J(w,...转载 2019-05-17 14:50:40 · 13133 阅读 · 2 评论 -
深度学习基础之-2.1回归
回归回归分析是一种数学模型。当因变量和自变量为线性关系时,它是一种特殊的线性模型。最简单的情形是一元线性回归,由大体上有线性关系的一个自变量和一个因变量组成,模型是:Y=a+bX+εY=a+bX+εY=a+bX+εX是自变量,Y是因变量,ε是随机误差。通常假定随机误差的均值为0,方差为σ2(σ2﹥0,σ^2与X的值无关)。若进一步假定随机误差遵从正态分布,就叫做正态线性模型。一般的,若有...转载 2019-05-17 15:31:03 · 385 阅读 · 0 评论 -
深度学习基础之-2.2用梯度下降法求解w,b
用梯度下降法求解w,b。预设函数 Hypothesis Functionz=wx+bz = wx+bz=wx+b损失函数 Loss FunctionJ(w,b)=12(z−y)2J(w,b) = \frac{1}{2}(z-y)^2J(w,b)=21(z−y)2z是预测值,y是样本标签值。求w的梯度我们用J的值作为基准,去求w对它的影响,也就是J对w的偏导数(链式求导):∂J(w...转载 2019-05-17 16:08:27 · 3214 阅读 · 0 评论 -
深度学习基础之-4.1非线性回归-激活函数
非线性回归当神经网络不是一层的时候,就需要对每一层的输出加一个激活函数,将输出进行非线性的映射,否则不论网络有多少层,线性的变换永远可以视为一次线性的变换,不能解决复杂问题激活函数看神经网络中的一个神经元,为了简化,假设该神经元接受三个输入,分别为x1,x2,x3x_1, x_2, x_3x1,x2,x3,那么z=∑iwixi+biz=\sum\limits_{i}w_ix_i+b_i...转载 2019-05-18 22:39:51 · 6087 阅读 · 0 评论