神经网络
文章平均质量分 61
AI强仔
人工智能爱好者、机器人爱好者
展开
-
大模型如transformers的提高训练速度,减少内存使用的方法
大模型如transformers的提高训练速度,减少内存使用的方法翻译 2022-09-30 22:18:14 · 1628 阅读 · 0 评论 -
大模型的压缩/微调方法
大模型微调原创 2022-06-30 10:36:56 · 2675 阅读 · 0 评论 -
LSTM+Attention代码
Lstm与attention结合原创 2022-06-17 21:38:30 · 1146 阅读 · 1 评论 -
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
1 简介本文根据2017年《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》翻译总结的。CTR :Click-Through-Rate (点击通过比率),CTR=实际点击次数/展示量。DeepFM有3个优点:1)它不需要预训练;2)它同时学习高阶和低阶特征交互(feature interactions,如两种特征的交互),DeepFM集成了FM和deep neural networks (DNN),其中翻译 2022-05-28 23:12:27 · 542 阅读 · 1 评论 -
keras画出模型结构图
import pydot #尽量1.2.3版本from keras.utils.vis_utils import plot_modelmodel=load_model("model.h5")#model=get_model_1()plot_model(model,to_file="model.png",show_shapes=True)原创 2022-05-22 21:45:38 · 1063 阅读 · 0 评论 -
模型参数初始化
在一般的教程中,推导初始化方法的思想是尽量让输入输出具有同样的均值和方差,通常会假设输入是均值为0、方差为1的随机向量,然后试图让输出的均值为0、方差为1。不过,笔者认为这其实是没有必要的,而且对于某些非负的激活函数来说,根本就做不到均值为0。事实上,只要每层的输入输出的二阶(原点)矩能稳定在适当的范围内,那么在反向传播的时候,模型每层的梯度也都保持在原点的一定范围中,不会爆炸也不会消失,所以这个模型基本上就可以稳定训练。...转载 2022-02-08 18:33:53 · 791 阅读 · 0 评论 -
胶囊网络CapsNet--dynamic routing between capsules
1 简介本文根据2017年Hinton的《dynamic routing between capsules》翻译总结。近30年,语音识别主要使用高斯混合隐马尔可夫模型(HMM)作为输出分布。这些模型容易在小的计算机上训练学习,但他们有模型表达限制:one-of- n 表达存在指数性无效率。为了使HMM记忆的信息翻倍,我们需要使隐藏节点的数量取平方(2次方)。而对于循环神经网络,只需要相应翻倍增加隐藏神经元的数量,不是指数性增加。现在卷积网络在物体识别领域占据了主导地位,其是否也存在指数性无效率。卷积网翻译 2021-07-17 21:51:43 · 707 阅读 · 0 评论 -
深度神经网络与高斯过程的等价性
1 概要近些年,深度神经网络发展迅速,而Gaussian process (GP)只是被当做传统的非参数工具。而在无限宽度的单层神经网络时,这两者的等价性在1994年就被发现了。在无限网络宽度的限制下,参数为独立同分布的单层全连接神经网络等价于高斯过程(Gaussian process (GP))。这样就可以通过评估GP,在回归任务上进行无限宽度神经网络的贝叶斯预测。最近,模仿多层随机神经网络的核函数有所发展,但也不是贝叶斯的。所以,目前这些核函数还没有被用来作为GP的协方差函数,进而用于深度神经网络的翻译 2021-05-25 18:02:13 · 1778 阅读 · 0 评论 -
Keras构建神经网络的3种方法
构建Keras模型的3种方法有三种方法可以在TensorFlow中构建Keras模型:Sequential API:当你试图使用单个输入、输出和层分支构建简单模型时,Sequential API是最好的方法。对于想快速学习的新手来说,这是一个很好的选择。Functional API:函数API是构建Keras模型最流行的方法。它可以完成Sequential API所能做的一切。此外,它允许多个输入、多个输出、分支和层共享。它是一种简洁易用的方法,并且仍然允许很好的定制灵活性。模型子类化:模型子类化是原创 2021-03-17 17:29:02 · 1360 阅读 · 0 评论 -
Estimator简介与使用
1 Estimator简介Tensorflow中,Estimator可以用来模型的训练、评估、预测等。当用 Estimator 编写一个 application,你必须将 input pipeline 和 model 分开。这种分离简化了在不同数据集上的 experiments。可以看到Estimator是属于High level的API,而Mid-level API分别是:• Layers:用来构建网络结构• Datasets: 用来构建数据读取pipeline• Metrics:用来评估网原创 2021-03-17 17:20:50 · 3755 阅读 · 0 评论 -
tf.keras神经网络模型定义多个输入
1.多个输入数据构造final_train_tokens=[]#输入1final_train_poss=[]#输入2final_train_labels=[]#标签train_dataset = tf.data.Dataset.from_tensor_slices((final_train_tokens,final_train_poss))dataset2 = tf.data.Dataset.from_tensor_slices(final_train_labels)train_dataset原创 2021-03-04 23:12:17 · 1318 阅读 · 1 评论 -
多分类:categorical_crossentropy和sparse_categorical_crossentropy计算softmax交叉熵
1.sparse_categorical_crossentropylabel数组中的数据全为0-9,表示十种分类。model = tf.keras.Sequential()model.add(tf.keras.layers.Flatten(input_shape=(28,28)))model.add(tf.keras.layers.Dense(128, activation=‘relu’))model.add(tf.keras.layers.Dense(10, activation=‘softma原创 2020-12-31 15:21:13 · 3635 阅读 · 0 评论 -
普通话/汉语的语音识别:DFSMN-CTC-SMBR模型
1 简介本文根据《Investigation of Modeling Units for Mandarin Speech Recognition Using Dfsmn-ctc-smbr》翻译总结。采用DFSMN-CTC-SMBR进行普通话语音识别。一般一个声学模型包括3个关键部分,分别是:神经网络、声学模型单元、优化目标函数。本文采用DFSMN-CTC-SMBR,即神经网络是DFSMN,目标函数是CTC与SMBR。声学模型采用的是hybrid Character-Syllable,包括常见的中文字符翻译 2020-12-06 19:37:13 · 2946 阅读 · 0 评论 -
DenseNet论文笔记
1 简介本文依据2018年《Densely Connected Convolutional Networks》翻译总结。Dense Convolutional Network (DenseNet)。说是比ResNet参数更少,效果却更好。最主要的特点,如下图,每一层的输入是前面所有层输出的feature map。DenseNet有如下好处:缓解梯度消失问题;增强特征传递;有利于特征的重用;减少参数数量。2 相关工作Highway Network使用gating units的bypa翻译 2020-09-23 17:33:52 · 143 阅读 · 0 评论 -
多标签多物体识别
CNN在识别单个物体方面取得了显著的发展,但如果只用CNN的话,在识别多个物体方面会遇到瓶颈。下面罗列了一些识别一张图片中多个不同的物体的方法,主要是结合CNN、RPN、LSTM,以及和RPN有类似作用的BING。HCP(hypothesis-CNN-Pooling):BING算法+shared CNN。BING算法生成object proposal。shared CNN网络采用imageNet(单独标签的)数据进行了预训练。RLSD(Regional Latent Semantic Depe原创 2020-06-20 11:32:58 · 2216 阅读 · 0 评论 -
论文笔记BING( Binarized normed gradients)与BING-E
1 简介本文主要基于论文《BING: Binarized normed gradients for objectness estimation at 300fps》翻译总结。BING可以用来生成图片的object proposal,物体识别的前奏。BING的好处主要是其运算速度快,同时识别的object proposal具有一般性,应用于不同的物体。BING(binarized normed gradients 二值化标准梯度)。对于物体的识别,比如RPN模型,其检测效果依赖于大量的ground-tr翻译 2020-06-19 20:44:12 · 872 阅读 · 0 评论 -
论文笔记HCP:Single-label to Multi-label
1 简介参考2014年论文《CNN: Single-label to Multi-label》,该论文中提出了HCP(hypothesis-CNN-Pooling)。HCP可以进行一张图片中多物体(多标签)的识别。Hypothesis基本可以理解为物体建议(object proposal)。先介绍个模型BING(binarized normed gradients 二值化标准梯度)。对于物体的识别,比如RPN模型,其检测效果依赖于大量的ground-truth 标注,这样就导致RPN的检测效果不具有一般翻译 2020-06-18 22:33:04 · 449 阅读 · 0 评论 -
Mask R-CNN论文笔记
1 简介来源论文《MaskR-CNN》。Mask R-CNN 可以进行物体实例的分割。在识别一张图片中各物体实例的同时,对每个实例产生高质量的分割蒙版(mask)。R-CNN (region-based CNN)发展到Faster R-CNN,现在又到了Mask R-CNN。Mask R-CNN是在Faster R-CNN的基础上增加了一个分支,用来进行RoI(region of interest)上的分割蒙版的预测。也增加了5fps(帧/秒)的消耗。如下图那些带颜色的蒙版。Mask R-CNN原创 2020-06-17 22:44:58 · 266 阅读 · 0 评论 -
论文笔记RLSD-Regional Latent Semantic Dependencies
1.简介:RLSD出自论文《Multi-label Image Classifification with Regional Latent Semantic Dependencies》中,即Regional Latent Semantic Dependencies。RLSD可以看做是CNN+RPN(region proposal network)+LSTM. 用于多标签图片分类,即识别一张图片中的多个物体与类别。CNN采用的VGGNET。所以RLSD在效果方面比CNN+RNN(LSTM)会好些,尤其是原创 2020-06-15 22:38:19 · 785 阅读 · 0 评论 -
论文笔记-Fast R-CNN
1 介绍本文基于《Fast R-CNN》翻译总结,作者是Ross Girshick(Microsoft Research)。Fast Region-based Convolutional Network method (Fast R-CNN) 用来进行物体识别。相比于图片分类,物体识别更具挑战,需要更加复杂的方法来解决。R-CNNR-CNN有以下三个缺点:1.训练是多步骤的:R-CNN首先微调一个卷积网络,使用log loss 进行物体检测;然后适配SVM到卷积特征。这些SVM作为物体检测者,代替翻译 2020-05-09 17:31:46 · 397 阅读 · 0 评论 -
深度学习三巨头
ACM(国际计算机学会)宣布,有“深度学习三巨头”之称的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖,这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。ACM同时宣布,将于2019年6月15日在旧金山举行年度颁奖晚宴,届时正式给获奖者颁奖,奖金100万美元。以表彰他们给人工智能带来的重大突破,这些突破使深度神经网络成为计算的关...原创 2020-04-24 17:39:00 · 5945 阅读 · 2 评论 -
OCR之R^2AM(Recursive Recurrent Nets with Attention Modeling for OCR in the Wild)论文笔记
这篇博客写得比较详细了,我这就不多重复了,只写下我看完论文的一些心得。https://blog.csdn.net/tmylzq187/article/details/51500379?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-taskRecursi...原创 2020-03-10 15:44:51 · 541 阅读 · 0 评论 -
OCR之CRNN论文笔记
4.CRNN原理介绍本文主要是根据论文《An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition》翻译总结而来。CRNN可以识别不同大小,不同长度的图片文字。论文还识别了乐谱,理论上该模型也可以有效的识别中文,不...原创 2020-02-22 16:26:12 · 1244 阅读 · 4 评论 -
搭建CTPN网络(基于windows与tensorflow)
2.1.1.CPTN介绍GIT clone下载https://github.com/eragonruan/text-detection-ctpn特征提取LSTM汇聚结果:cptn过程那么ctpn是怎么把这一行文字给框出来的呢,它是首先把这一行里的每个字给框出来,然后把所有的字的框合并,就得到一行文字的框,那么它是怎么把每个字给框出来呢,这就是和目标检测一样的呢,借鉴了faster...原创 2020-02-06 18:56:30 · 2318 阅读 · 0 评论