- 博客(15)
- 收藏
- 关注
RSS订阅转载 张量分解的数学基础
转自Xinyu Chen链接：请戳这里！来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。近年来，张量分解技术在数据挖掘领域得到了很好的应用，但关于张量的一些计算却与我们所熟悉的线性代数大相径庭，同时，张量计算相比以向量和矩阵计算为主导的线性代数更为抽象，这使得大量读者可能会觉得关于张量的内容很“难啃”。当然，就线性代数和多重线性代数而言，主流的观点将涉及到张量...
2020-03-31 16:47:19
403
转载 张量化网络论文汇总
用张量分解的方法压缩神经网络模型这一方向还有哪些坑可以挖呢？这是我研究生以来一直研究的问题。看了很多论文，感觉大体可以分为两条line:(一)基于低秩近似的张量分解方法。也就是对原有的模型参...
2020-03-26 17:43:29
527
转载 预测未来的神技---马尔科夫模型
转载自：https://blog.csdn.net/pipisorry/article/details/46618991...
2019-11-11 15:16:33
7447
转载 张量分解-CP/HOSVD
作为一个才开学两个月的博士研究生，我只能说我的经历你们绝对不会有机会体验！！因为，我又双叒换导师换方向了。开学第一次实验室聚餐就是散伙饭你敢信？哈哈哈哈哈好吧，进入正题，因为现在的导师做的方向是矩阵\张量这一块，所有又双叒的开始恶补相关知识，然后就了解了奇异值这个东西，目前为止，我认为网上可找到的关于奇异值分解直观含义的最佳文章是郑宁老师撰写。因为转载比较麻烦，所以在此附上链接：奇异值的物理意...
2019-10-30 14:37:55
1365
1
原创 Tensorflow系统架构
写在前面最近在学习Tensorflow分布式运行机制的实现，因此，对Tensorflow的系统架构和源码有初步的了解。想把这个学习过程给记录一下，这篇博客就是整个学习过程记录的开端。后续会继续写新的博客，也请大家多多指教。关于TFTensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，提供了丰富的深度学习相关的API，支持Python和C++接口...
2019-01-09 14:17:28
952
1
转载 参数服务器——分布式机器学习的新杀器
在大规模数据上跑机器学习任务是过去十多年内系统架构师面临的主要挑战之一，许多模型和抽象先后用于这一任务。从早期的MPI，到后来的Hadoop，乃至于目前使用较多的Spark，都曾被广泛应用于大规模机器学习处理任务。John Langford曾经在他的博客(机器学习领域最好的博客之一)上总结和对比了主流的分布式机器学习框架的抽象[1]：MPI Gradient Aggregation：主要缺点是...
2018-10-27 11:21:02
728
转载 小白也能懂的hadoop生态圈，很黄很暴力！
转自Xiaoyu Ma链接：请戳这里！来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性...
2018-10-22 21:56:59
1019
原创 决策树实现鸢尾花分类
介绍在这篇博客中，我们使用以下几个库来实现决策树算法scikit-learn机器学习库scikit-learn最先是由David Cournapeau在2007年发起的一个Google Summer of Code项目，从那时起这个项目就已经拥有很多的贡献者了，该项目目前也是由一个志愿者团队在维护着。scikit-learn是python的一个开源机器学习模块，它建立在numpy，sci...
2018-10-22 13:41:10
11161
转载 降维算法-主成分分析法（PCA）
转载自：http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的...
2018-10-11 10:34:56
715
原创 关于RNN那点事儿
废话不说，进入正题。为什么需要RNN在讨论RNN之前，首先我们来探讨一下—既然我们已经有了人工神经网络和CNN（卷积神经网络），为什么还需要RNN（循环神经网络，嗯，很多地方喜欢称之为递归神经网络，不管穿了什么马甲，其实是一个东西）？原因很简单，无论是卷积神经网络，还是人工神经网络，他们的前提假设都是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但在现实世界中，很多元素都是相互...
2018-09-26 17:02:09
576
原创 激活函数---空间魔法师
在学习深度学习的时候，有看到许多不同的激活函数，因此查阅了这些函数。博客内容转自grlhl的博客，部分内容我重新组织了一下。不管是传统的神经网络模型还是时下热门的深度学习，我们都可以在其中看到激活函数的影子。所谓激活函数，就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。常见的激活函数包括SigmoidSigmoidSigmoid、TanHyperbolic(tanh)Tan...
2018-09-25 10:47:57
227
转载 监督学习，无监督学习，半监督学习和强化学习
介绍「机器人圈」导览：一般说来，训练深度学习网络的方式主要有四种：监督、无监督、半监督和强化学习。在接下来的文章中，机器人圈将逐个解释这些方法背后所蕴含的理论知识。除此之外，机器人圈将分享文献中经常碰到的术语，并提供与数学相关的更多资源。本文编译自硅谷著名的风险投资机构安德森•霍洛维茨基金，作者是Frank Chen。有关数学相关问题，请参阅这个斯坦福大学的教程，其中包含监督和无监督学习，内含代...
2018-09-24 21:27:35
553
原创 Word Embedding
同样是在上一篇博客中我所提到的最近在看的论文使用的模型中，初次接触Word Embedding。就是下面这个模型（Figure 3），让我一个小白被迫的主动学习了超多基础知识，当然，我在拿着这篇论文去给老师讲的时候脑子并没有缕的很清楚，现在想想，真是辛苦老师了。话不多说，进入正题，说说我对Word Embedding的理解。文章内容借鉴吴恩达的视频和大牛YJango的专栏。单词表达在卷积神...
2018-09-22 16:38:59
1029
1
原创 RNN———实现Long-Short Term Memory（LSTM）
介绍最近在看一篇论文，基于CNN和RNN实现岩石描述的文本生成，里面用到LSTM和attention mechanism。有对这篇论文感兴趣的朋友请戳这里。在恶补相关知识和查阅相关资料后，在此分享我对LSTM的理解。文章内容借鉴知乎大牛YJango的专栏。梯度消失和梯度爆炸如下图所示，循环神经网络用相同的方式来处理每个时刻的数据。我们希望循环神经网络可以将过去时刻发生的状态信息传递给当前时...
2018-09-21 23:01:24
402
原创 Deep Learning 资料整理
本人菜鸟本鸟，最近开始学习深度学习，在深度学习的学习上还谈不上深度。在自己的学习过程中，发现自己在evernote上记的笔记有点多，于是想将一些资料整理一下和大家分享。本人目前研究生在读，可能学习深度学习的方式对有些人来说并不合适，秉承“来都来了”的原则，希望大家能看两眼。如果能对你的学习有所帮助，那我也不算白敲这么写字。话不多说，进入正题。视频/书籍资料吴恩达的教学视频，个人认为如果你...
2018-09-20 14:34:47
212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人