DL的若干tricks

最新推荐文章于 2024-01-10 16:13:55 发布
最新推荐文章于 2024-01-10 16:13:55 发布
阅读量669 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33232071/article/details/50951438
版权

原文在这Must Know Tips/Tricks in Deep Neural Networks，我只是记录，以免忘记。。。

拿CNN做图像举例

1.尽可能的扩展数据集(Ng课上讲过如何空手把dataset扩展10倍的故事)
2.做好数据预处理(如图像whitening)
3.好的初始化参数
4.卷积核/学习速率调整
5.激活函数(主流还是relu)
6.规则化(大多还是用dropout)
7.训练performence可视化(更容易看出问题)
8.同一个模型或同一个数据集多尝试训练几次。

这些条约很多内容基本上时公认的，不少DL开源框架已经将上述问题调整到最优

zhzhzhi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python Tricks
05-07
《Python Tricks》这本书是Python开发者的一本宝贵资源，它深入浅出地讲解了Python编程中的高级技巧和最佳实践。作者的目标是帮助读者更好地理解和运用Python，无论你是初学者还是有经验的开发者，都能从中受益匪浅...
python tricks
11-06
Python_Tricks_－_A_Buffet_of_Awesome_Python_Features
DL的tricks总结（持续更）
tangpengyou的博客
03-28 163
一、普通分类任务的经典tricks 1 模型优化方面 SGD，Adam, RMSprop 2 数据层面的增强方法 3 learning rate的更新策略 4 损失函数优化 5 正则化 6 BatchNorm 二、目标检测训练优化tricks Bag of Freebies for Training Object Detection Neural Networks-15 Feb, 2019 参考博...
深度学习（DL）中调参若干技巧
入坑AI
02-05 2621
深度学习网络调参技巧 在深度学习实验，相比普通机器学习任务，时间较长，因此调参技巧就显得尤为重要。同时个人实践中，又有一些新的调参心得，因此这里单独写一篇文章，谈一下自己对深度学习调参的理解，大家如果有其他技巧，也欢迎多多交流。好的实验环境是成功的一半
【tricks篇】BatchNorm
ZZQ_UESTC的博客
01-10 939
机器学习领域有个很重要的假设：iid（独立同分布假设）。假设训练数据和测试数据是满足相同分布的。这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。BatchNorm是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布。为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network，BN本质上也是解释并从某个不同的角度来解决这个问题的。
DL相关基础概念-待补充
Sherry
04-26 889
深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。
我这些年学到的12个教训【Deep learning tricks】.zip
11-21
深度学习从来不是一件容易的事。两天前，深度学习实战派大牛，前Quora的工程团队负责人、前Netflix的推荐算法团队负责人，现Curai（一家医疗AI公司）创始人 Xavier Amatriain， 将他这些年得到的12个教训整理成册，...
Neural Networks Tricks of the Trade
09-07
调参必备神文，重要的事说三遍，值得你拥有
js_tricks:一些常用的 JS 方法 - some JS methods always by used
05-02
cd js_tricks npm install npm run docs:dev 内容涵盖 Include Contributing Fork this repository Create your branch: git checkout -b new-branch Make your changes Commit your changes:
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已
热门推荐
ER
07-17 1万+
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，这个说法很深刻！贴上一张最近常看的图
选择支持向量机(SVM)核函数
ER
03-21 1万+
SVM核函数通常有四种： 1. Linear 2. Polynomial 3. Gaussian (RBF) 4. Sigmoid/Logistic 不知为何，RBF最常用 一般情况下，给定随意的数据集，你不知道该用什么样的核函数，通常先用简单的映射方式，然后再一步步的复杂化。 如果数据集是线性可分的，用linear当然足够；如果数据集线性不可分，这个核函数就显然不行了
fudanNLP(fnlp)添加自定义字典
ER
04-22 6368
fnlp目前找到的接口方便的开源的NLP开源工具 StanfordNLP Hanlp FudanNLP NLTK LTP 由于StanfordNLP中文包配置较困难，使用fnlp做分词加语义 考虑语义依存时，算法几乎都如出一辙的HMM，所以暂且认为模型参数问题可以用scale的数据量弥补。fnlp这是一段具有分词，实体识别，语义依存功能的代码import org.fnlp.nlp.cn
中文期刊分类(blog版)
ER
03-08 3919
中文期刊分类 1.选题意义 2.项目目标 3.reference 4.模型 5.整体方案 选题意义 期刊论文本数量增长迅速，人工分类耗费精力 某个实验表明，相同的人在不同时间段对同一批文献分类；不同的人对同一批文献分类，得到的结果发现相差较大，是因为人的主观性和知识结构的变迁会影响分类结果。机器分类不会存在此问题。 项目目标 建立合理的CNKI数据集 样本地址 项目地址 对中图法分类的22个大类
Good-turning估计
ER
04-03 3398
吴军数学之美又看了一遍，写的有深有浅，这次又有了不同的感觉。 统计预言模型的数据稀疏问题解决方案–古德图灵估计
维比特(vibiter)算法python
ER
03-24 3322
缘由再一次做分词，毫无疑问又用了jieba，但是结巴的语料库貌似很多没能与时俱进。比如一句话里的“大数据”，被硬生生分词为“大/数据”，再把“大”纳入stopwords的话，那句子就变了味咯。当然，一个简单办法是，找到jieba的dict, $sudo su$gedit dictctrl+f修改“大数据”的占比重，save即可。 想到李航《统计机器学习》里有维比特算法介绍，数学之美里也有一章略讲
哈希学习
ER
05-28 2829
哈希学习(learning to hash)通过机器学习机制将数据映射成二进制串的形式, 能显著减少数据的存储和通信开销, 从而有效提高学习系统的效率. 哈希学习的目的是学到数据的二进制哈希码表示, 使得哈希码尽可能地保持原空间中的近邻关系, 即保相似性. 每个数据点会被一个紧凑的二进制串编码, 在原空间中相似的2个点应当被映射到哈希码空间中相似的2个点. 举例来说, 如果原空间中每个数据样本都
theano的T.grad如何计算
ER
10-13 2635
f(x) = x*x + x - 2 Graph = ADD / \ MUL SUB / \ / \ x x x 2Chain rule for ADD=> (a(x)+b(x))' = a'(x) + b'(x) Chain rule for MUL=> (a(x)*b(x))' = a'(x)*b
fizzbuzz的机器学习解法
ER
05-31 2354
转:fizzbuzz是面试的常见问题,内容为:输出0到100的数字，但是3的倍数输出Fizz，5的倍数输出Buzz，同时是3和5的倍数的输出FizzBuzz。通过训练一个分类器将结果分为4classes: fizz buzz fizzbuzz none all in all,网络输入需要为二进制,我们需要将9表示为[1,0,0,1],我们取输入神经元为10个,达到1024的训练数据,避免作弊嫌疑.d
深度学习tricks
最新发布
04-30
深度学习tricks是指在深度学习模型训练过程中使用的一些技巧和策略，旨在提高模型的性能和训练效果。以下是一些常用的深度学习tricks： 1. 数据增强（Data Augmentation）：通过对原始数据进行随机变换和扩充，生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值