深度学习
心心喵
这个作者很懒,什么都没留下…
展开
-
[深度学习] 神经网络训练时是否可以将全部参数初始化为0
考虑全连接的深度神经网络,同一层中的任意神经元都是同构的,它们拥有相同的输入和输出。如果再将参数全部初始化为同样的值,那么无论前向传播还是反向传播的取值都是完全相同。神经网络训练时是否可以将全部参数初始化为0?,最终同一网路层中的各个参数仍然是相同的。原创 2022-12-17 21:04:47 · 286 阅读 · 0 评论 -
[深度学习] 卷积核的选择
为什么一个5*5的卷积核可以用两个3*3的卷积核代替,一个7*7的卷积核可以用三个的3*3卷积核代替? - 知乎为什么一个5*5的卷积核可以用两个3x3卷积核代替呢?主要原因很简单,因为两个3x3的卷积核的感受野的大小刚好是5x5。可以从这张图上看到,两个3x3的卷积核的感受野是不是5x5呢?那么为什么要进行把5x5替换成两个3x3呢?原因其实很简单,两个3x3的参数量少。假设输入维度 input_channel = output_channel;则参数量:2个3x3的参数量为 2*...原创 2021-09-16 19:06:54 · 1888 阅读 · 0 评论 -
[深度学习] 残差神经网络Resnet
残差网络解决了什么,为什么有效? - 知乎Resnet 收敛速度更快、解决了训练难度过大、网络退化等问题。原创 2021-09-16 12:28:47 · 418 阅读 · 1 评论 -
[深度学习] 空洞卷积
原创 2021-09-16 12:22:42 · 85 阅读 · 0 评论 -
[深度学习] 卷积神经网络CNN & 卷积
参考:什么!卷积要旋转180度?! - 简书CNN卷积神经网络 : 卷积层conv、池化层pool、全连接层fc 交叉堆叠而成的前馈神经网络。三个结构: 局部连接、权重共享、池化。有平移、缩放、旋转不变性。和前馈神经网络比,参数更少。卷积中间的卷积核,其实是已经逆时针旋转过180度的。padding & stride多通道...原创 2021-09-15 18:12:49 · 612 阅读 · 0 评论 -
[深度学习] 序列数据预处理
将原始序列数据处理为方便模型运算的序列数据。目录划分长序列、采样短序列padding重采样、线性查分划分长序列、采样短序列padding重采样、线性查分原创 2021-09-10 12:31:37 · 442 阅读 · 0 评论 -
[深度学习] 超参数优化
一、神经网络的超参数:层数、每层神经元个数、激活函数、学习率(各种优化算法中包含的参数)、正则化参数、mini-batch大小。优化难点:超参数优化是组合优化问题评估一组超参数配置的时间代价非常高优化方法:网格搜索,随机搜索、贝叶斯优化、动态资源分配、神经网络搜索。g网格搜索grid search:尝试所有超参数组合寻址合适的超参数配置。随机搜索:超参数对模型性能影响程度不一样。采用网格搜索会在不重要的参数上进行不必要的尝试。一种改进方法是对超参数进行随机组合原创 2021-09-09 19:20:31 · 3025 阅读 · 0 评论 -
[pytorch] PyTorch—torchvision.models导入预训练模型—残差网络代码讲解
参考:https://blog.csdn.net/wsp_1138886114/article/details/83787181PyTorch框架中torchvision模块下有:torchvision.datasets、torchvision.models、torchvision.transforms这3个子包。关于详情请参考官网: http://pytorch.org/docs/master/torchvision/index.html。具体代码可以参考github: https://github原创 2021-07-06 23:15:52 · 747 阅读 · 1 评论 -
[深度学习] 百度api的asr语音识别(包括长音频,识别多个语句)
python -m pip install --upgrade pip setuptools wheelpip install pocketsphinx原创 2021-06-29 22:00:17 · 1832 阅读 · 1 评论 -
[深度学习] 百度开源api的ocr-demo
# 在终端pip install baidu-aipfrom aip import ocrimport json# 注意 aipocr改成了ocr.AipOcr# https://login.bce.baidu.com/ # 在百度智能云,申请ocr的api,得到APP_ID,API_KEY,SECRET_KEY。APP_ID = '0000'API_KEY = '00000000'SECRET_KEY = '0000000000 'client = ocr.AipOcr(APP_ID,原创 2021-06-01 10:05:49 · 300 阅读 · 0 评论 -
[深度学习] ocr 多线程
# 参考ocr_demo,将数据集train和test的ocr识别结果保存成文本txt。# 在环境中 pip install aip ,pip install jiebafrom aip import ocrimport jsonimport osimport jiebaimport reimport stringfrom multiprocessing import Pool#from tqdm import tqdmdef clean_sentence(sentence):原创 2021-06-01 17:48:22 · 223 阅读 · 0 评论 -
[深度学习] 多种损失函数 contrastive loss & triplet loss & L-softmax
参考:https://blog.csdn.net/zeroQiaoba/article/details/80086906损失函数对比损失函数(Contrastive loss function)三元组损失(triplet loss)triplet loss 和 contrastive loss 的缺陷两者都需要精细设计的 对的选择。由此引入Large_margin softmax(L-softmax)。L-Softmaxentropy lossSoftmax loss..原创 2021-06-15 02:24:16 · 1250 阅读 · 0 评论 -
[深度学习] 流形学习(未完待续)
流形学习流形学习,全称流形学习方法(Manifold Learning),自2000年在著名的科学杂志《Science》被首次提出以来,已成为信息科学领域的研究热点。假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质,找到产生数据的内在规律。流形学习方法是模式识别中的基本方法,分为线性流形学习算法和非线性流形学习算法。非线性流形学习算法 包原创 2021-04-11 09:34:58 · 463 阅读 · 0 评论 -
[深度学习] Adaboost入门教程(未完待续)
https://www.baidu.com/link?url=9z0fBT8fhZUIiJYV3n1QCaAh19da7hU8pKHJq4Cxt6q66nKQRx6OobI9ygo0FEvruHh1S-I0IdHkFVWaoAOMTq&wd=&eqid=b30e9e2b00064985000000066072e7b0continuing…原创 2021-04-11 20:14:36 · 104 阅读 · 0 评论