- 博客(6)
- 收藏
- 关注
原创 深度学习中的推理加速
深度学习中的推理加速推理加速SVD分解Hidden Node prune知识蒸馏(teacher student)参数共享神经网络的量化Binary Net基于fft的循环矩阵加速推理加速大家都知道,深度神经网络有着精度高,灵活性强,适用面广等一系列优点,但相比传统机器学习(如逻辑回归,决策树等),深度神经网络往往有着训练速度慢,推理速度慢等缺点,这些缺点在很多实际场景中是不可忽视的。例如语音识别,我们的数据都是上传到云端,再从云端传送到对方设备。倘若数据在模型中就要跑上个0.5秒,那么对方收到信息很
2021-06-06 23:03:08 2259 2
原创 关于机器学习分类器的选择问题
在刚接触机器学习的时候,我始终有一个问题:在一个分类任务中,有那么多机器学习算法可以训练分类器,那么是否有一个分类器是最好的,或者说是否有一个分类器在理论上是可以超越其它分类器?相信不少小伙伴也和我有一样的疑问,但可能由于没有研究数学原理,这个疑问就埋在那里了。我是数学系学生,平时喜欢读一些偏理论的书,也积累了一些实战经验,在经过一些思考总结后,决定把一些观点写下来。首先是上面的这个问题,其答案是否定的。严格来说,一些集成分类器(如随机森林等),可以说效果往往比组成它的学习器好,但不能说哪一个基学习器能
2020-06-14 01:54:32 2210
原创 闲聊——卷积神经网络(CNN)处理mnist手写数字集(理论+代码)
(本文主要介绍卷积神经网络工作原理以及用卷积神经网络处理mnist数据集,并附代码)先给大家看一下成果:机器精准的识别了邮编上的手写数字。我们今天要聊的就是如何用CNN训练mnist手写数字数据集。话不多说,先上代码,之后再聊卷积神经网络的工作原理。(这段代码并非追求简洁,而是定义了很多函数,方便下面讲解CNN的工作原理)import numpy as npimport pandas ...
2020-04-23 13:09:03 3086 1
原创 闲聊——基础神经网络理论与代码实战
(本文给出基础神经网络的工作流程解释以及相应的代码,方便小伙伴们理解,这里需要的仅仅是高等代数/线性代数的基础知识。)为了方便,这里使用tensorflow自带的mnist数据集,我们知道图像识别一般用卷积神经网络,但这里我们将图片reshape为一个长条向量,就可以用基础神经网络来操作。(关于卷积神经网络分类mnist数据,后续还会更新相应的博客)为了更方便理解,我们用keras导入数据:...
2020-04-22 14:12:11 489
原创 闲聊——集成学习理论(Adaboost,随机森林理论与个人实战中的体会)
(本文通过简单的例子来引出算法本质,同时附上证明过程,目的是让感觉直接看证明推导很难的小伙伴们也能理解集成算法是怎样实现的)集成学习通过构建并结合多个学习器来完成学习任务,可获得比单一学习器更好的泛化性能。目前的集成学习方法大致可分为两类,第一类个体学习器之间具有很强的依赖关系,需要串行生成的序列化方法;第二类是个体学习器之间不存在强依赖关系,可同时生成的并行化方法。这里分别对两类集成方法各举一...
2020-04-21 22:50:24 1287 1
原创 闲谈神经网络softmax激活函数
(首先说明一下我只是个大四在读学生,在自学深度学习,期间遇到很多问题,通过各种资料解开了疑问。写这篇博客的目的是加深对理论的理解,同时也希望能给和我一样存在疑问的初学者一些参考。所以请各位大佬在看到错误的时候指出来,不胜感激!)学过深度学习的小伙伴们想必对神经网络的工作原理都有所了解。这里拿用于分类的神经网络举例。它通过一层层神经元,将输入的数据不断进行特征提取,将数据映射成一列概率值,并由这个...
2020-04-20 13:08:19 2012 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人