Deep learning
文章平均质量分 91
深度学习
shaobo Huang
化繁为简,高效极致
展开
-
optuna 自动化调参利器
Optuna是一个自动超参数优化软件框架,专为机器学习而设计。它具有命令式、 运行时定义的用户 API。Optuna的用户可以动态地构建超参数的搜索空间。optuna API使用optunaOptuna 与几乎所有可用的机器学习框架一起使用:TensorFlow、PyTorch、LightGBM、XGBoost、CatBoost、sklearn、FastAI 等。安装optuna pip install optuna每个 Optuna 超参数调整会话称为学习。我们通过调用create_stud原创 2022-02-17 15:53:58 · 9533 阅读 · 15 评论 -
Batch size对训练效果的影响
一般来说,在合理的范围之内,越大的 batch size 使下降方向越准确,震荡越小;batch size 如果过大,则可能会出现局部最优的情况。小的 bath size 引入的随机性更大,难以达到收敛,极少数情况下可能会效果变好。Don’t decay the learning rate increase the batch sizeTrain longer, generalize better: closing the generalization gap in large batch traini翻译 2021-10-22 11:04:45 · 12568 阅读 · 0 评论 -
Transformer
Transformer由论文《Attention is All You Need》提出,现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取,其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本,并注释该论文。1. Transformer 整体结构Transformer 的整体结构,左图Encoder和右图DecoderTransformer 由 Encoder 和 Decoder 两个部分组成,Encoder 和转载 2021-09-29 14:44:22 · 314 阅读 · 0 评论 -
自动编码器
自动编码器是一种利用反向传播算法使得输出值等于输入值的神经网络。它首先将输入压缩到潜在空间表征,然后利用表征来重构输出。自动编码器分为两个部分:编码器和解码器。编码器(Encoder)将输入进行压缩,提取特征,可以用 ℎ = ????(????) 来表示;解码器(Decoder)利用特征进行重构,得到输出,可以用 ???? = ????(ℎ) 来表示。整个自动编码器优化目标就是使输出尽量等于输出,也就是???? = ????。最简单的自动编码器用两层神经网络来表示。自动编码器通过压缩数据来提取特征,因此需要原创 2021-04-02 18:44:24 · 990 阅读 · 0 评论 -
深度学习-目标检测
R-CNN的原理R-CNN的全称是Region-CNN,它可以说是第一个成功地将深度学习应 用到目标检测上的算法。Fast R-CNN、Faster R-CNN全部都是建立在R-CNN基础上的。传统的目标检测方法大多以图像识别为基础。一般可以在图片上使用穷 举法选出所有物体可能出现的区域框,对这些区域框提取特征并使用图 像识别方法分类,得到所有分类成功的区域后,通过非极大值抑制(Non-max...原创 2019-12-17 09:52:13 · 494 阅读 · 0 评论 -
DeepDream网络
项目地址:https://github.com/markostam/audio-deepdream-tf它使用DeepDreaming上的tensorflow入门将Christian Dittmar和Stefan Balke的适用于Caffe的DeepDreamEffect从HAMR2015改编为tensorflow。另外,编辑了在卷积图中诱发幻觉的损失函数,从而忽略了频谱图的高能量区域,从而避...原创 2019-12-11 18:18:04 · 533 阅读 · 0 评论 -
深度学习 Fine-tune 技巧总结
深度学习中需要大量的数据和计算资源(乞丐版都需要12G显存的GPU - -)且需花费大量时间来训练模型,但在实际中难以满足这些需求,而使用迁移学习则能有效降低数据量、计算量和计算时间,并能定制在新场景的业务需求,可谓一大利器。迁移学习不是一种算法而是一种机器学习思想,应用到深度学习就是微调(Fine-tune)。通过修改预训练网络模型结构(如修改样本类别输出个数),选择性载入预训练网络模型权重...原创 2019-10-08 16:09:45 · 771 阅读 · 0 评论 -
Mish:一个新的state of the art的激活函数,ReLU的继任者
MishDiganta Misra的一篇题为“Mish: A Self Regularized Non-Monotonic Neural Activation Function”的新论文介绍了一个新的深度学习激活函数,该函数在最终准确度上比Swish(+.494%)和ReLU(+ 1.671%)都有提高。使用Mish代替ReLU,打破了之前在FastAI全球排行榜上准确性得分记录的一部分。结合...转载 2019-09-30 10:40:04 · 1028 阅读 · 0 评论 -
循环神经网络(RNN) LSTM与GRU
RNN简介RNN是两种神经网络模型的缩写,一种是递归神经网络(Recursive Neural Network),一种是循环神经网络(Recurrent Neural Network)。虽然这两种神经网络有着千丝万缕的联系,但是本文主要讨论的是第二种神经网络模型——循环神经网络(Recurrent Neural Network)。循环神经网络是指一个随着时间的推移,重复发生的结构。在自然语言处...原创 2019-09-24 15:20:00 · 1185 阅读 · 0 评论 -
利用神经网络来计算XOR
异或问题:异或(XOR)问题可以看做是单位正方形的四个角,响应的输入模式为(0,0),(0,1),(1,1),(1,0)。第一个和第三个模式属于类0,即和输入模式(0,0)和(1,1)是单位正方形的两个相对的角,但它们产生相同的结果是0。另一方面,输入模式(0,1)和(1,0)是单位正方形另一对相对的角,但是它们属于类1,即和很显然,无法找出一条直线作为决策边界可以使(0,0)和...原创 2019-03-24 22:33:18 · 4525 阅读 · 0 评论 -
LSTM 文本分类模型的实现
#模块架构'''@author:/huangshaobo1 构建计算图-LSTM模型 embedding层 LSTM层 FC层 train_op+loss2 训练流程代码3 数据集封装代码 api: next_batch(batch_size)4 词表封装代码 api: sentence_to_id(text_sentence):句子-&...原创 2019-03-16 21:53:27 · 2769 阅读 · 1 评论