深度学习
文章平均质量分 62
Studying_swz
-
展开
-
数据结构分析_Inception_GNN_GCN
文章目录1.数据结构分析(欧几里德和非欧几里德数据)2.inception V1 V2 V3 V4inception V1Inception V2BN 理解Inception V3Inception V43.GNN简单理解4.GCN简单理解1.数据结构分析(欧几里德和非欧几里德数据)欧几里德数据如上图所示,每个节点之间都是排列整齐的,所以很容易的可以定义出距离来,如下图所示:非欧几里德数据排列不整齐,比较的随意。具体体现在:对于数据中的某个点,难以定义出其邻居节点出来,或者是不同节点的原创 2021-11-24 09:48:46 · 2821 阅读 · 0 评论 -
L1、L2范数理解--Ridge以及Lasso回归
文章目录一:范数对比二:范数作用三:L0范数和L1范数之间的比较四:L1范数和L2范数的比较五:L1范数和L2范数之反向传播的理解一:范数对比L0范数: 指向量中非0的元素的个数。(L0范数很难优化求解)L1范数: 指向量中各个元素绝对值之和L2范数: 指向量各元素的平方和然后求平方根注: L0范数,指向量中非零元素的个数。无穷范数,指向量中所有元素的最大绝对值。二:范数作用L1范数: 可以进行特征选择,即让特征的系数变为0.L2范数: 可以防止过拟合,提升模型的泛化能力,有助于处理原创 2020-12-05 13:37:04 · 7250 阅读 · 1 评论 -
深度学习基础(一):sigmoid/softmax/cross Entropy
在分类中,首先对于Logistic回归:从上图可以看出,很明显,其输出f(x;wb)主要是一些连续的实数,可以用于线性回归,但是对于分类问题无法进行直接进行分类预测,这里需要引入非线性的决策函数g(.)—这里我认为就是激活函数,使其输出从连续的实数转换到一些离散的标签。对于激活函数,可分为一下:其中tanh、relu、以及leaky relu激活函数相比sigmoid和softmax不适用与分类,其主要的作用以及差别见链接--------待这里主要来介绍sigmoid和softmax激活函数,原创 2020-07-16 18:15:56 · 891 阅读 · 0 评论 -
深度学习/花书:第六章(深度前馈网络)
一:相关概念二:主要流程三:线性问题四:非线性问题五:激活函数-隐藏单元六:激活函数–输出单元七:损失函数八:反向传播例子:https://blog.csdn.net/weixin_38347387/article/details/82936585...原创 2020-08-06 10:27:37 · 779 阅读 · 0 评论 -
深度学习/花书:第十章(序列建模:循环和递归网络)
一:主要流程二:为什么需要序列模型?三:网络记忆能力在RNN出现前,一些具有记忆能力的网络:1)TDNN2)自回归模型四:循环神经网络五:循环神经网络的计算图六:序列模型解决的问题七:BPTT(随时间反向传播)—重点1)前向传播2)反向传播八:双向循环神经网络九:长期依赖的挑战十:LSTM十一:GRU...原创 2020-09-02 20:45:19 · 845 阅读 · 0 评论 -
深度学习复习总览(一)
一:绪论人工智能:使一部机器人像人一样进行感知、认知、决策、执行的人工程序或系统。标志事件表:人工智能诞生:1956年的达特茅斯会议三个层面:目前处于第二个分类:三起两落:其中第一次是感知机的出现,第二次是BP的出现,第三次是包括是三个,分别是:逐层预训练算法、深度学习算法在ImageNet以及2016年的AlphaGo。一些重要人物:二:基础知识机器学习三要素:模型、学习准则、优化算法。模型:映射函数。学习准则:经验风险最小化。优化算法:梯度下降。神经原创 2020-10-18 20:54:33 · 1116 阅读 · 1 评论 -
深度学习复习总览(二)
深度学习的框架:核心组件张量、基于张量的相关操作、计算图、自动微分工具、cudnn等扩展包。张量:多维数组,0维张量即标量、1维张量即矢量、2维张量即矩阵、3为张量矩阵数组、4为张量…基于张量的相关操作:计算图:自动微分工具cudnn等扩展包:发展历程Tensorfloe和Pytorch对比主流框架介绍...原创 2020-10-18 21:05:42 · 841 阅读 · 0 评论 -
深度学习复习总览(三)
前馈神经网络:https://blog.csdn.net/qq_37534947/article/details/107832979补充:人工神经网络的三大要素:万能近似定理:可以看到只需要一个线性输出层和一个隐藏层组成的神经网络就可以近似任何函数,但是规模可能巨大,随着深度的增加,网络的表示能力呈指数增加。并且有着更好的泛化能力,但是未必带来模型效果的提升。...原创 2020-10-18 21:14:51 · 882 阅读 · 0 评论 -
深度学习复习总览(四)
深度模型优化与正则化:网络优化目的:经验风险最小化。对于低维来说,目的是逃离局部最优点;对于高维来说,则是逃离鞍点。梯度下降批量梯度下降、小批量梯度下降、随机批量梯度下降。学习率流程:学习率预热、学习率衰减、学习率周期调整、自适应学习率。1)学习率预热:2)学习率衰减3)周期性学习率调整4)自适应学习率缓解batch小导致的幅度震荡动量法比较:参数初始化数据初始化超参数优化过拟合-正则化有点累了—以后再写.原创 2020-10-18 21:29:45 · 785 阅读 · 3 评论 -
深度学习复习总览(五)
文章目录卷积神经网络一、三个特点二、卷积和互相关三、卷积操作四、池化五、增加输出单元的感受野六、卷积网络发展历程卷积神经网络为什么引入卷积网络?主要是对于图片来说,全连接神经网络的几个弊端如下:一、三个特点稀疏交互/局部连接:在全连接神经网络,一层的每个神经元和前一层的所有神经元都有连接;而在卷积神经神经网络中,输出单元和前一层的部分神经元(卷积核大小)有连接;这样导致的结果是参数由M(L)*M(L-1)减少为M(L) *K * K. 其中K为卷积核大小/滤波器大小。参数共享:对于上面原创 2020-10-19 18:48:03 · 946 阅读 · 0 评论 -
深度学习复习总览(六)
循环神经网络:https://blog.csdn.net/qq_37534947/article/details/108369828原创 2020-10-19 18:49:25 · 732 阅读 · 0 评论