学术研究
文章平均质量分 76
「已注销」
上海交通大学计算机系
展开
-
深度学习的训练加速
深层模型训练需要各种技巧,例如网络结构的选取,神经元个数的设定,权重参数的初始化,学习率的调整,Mini-batch的控制等等。即便对这些技巧十分精通,实践中也要多次训练,反复摸索尝试。此外,深层模型参数多,计算量大,训练数据的规模也更大,需要消耗很多计算资源。如果可以让训练加速,就可以在同样的时间内多尝试几个新主意,多调试几组参数,工作效率会明显提升,对于大规模的训练数据和模型来说,更可以将难以原创 2016-10-24 22:21:47 · 5385 阅读 · 0 评论 -
模型融合方法总结
模型融合是kaggle等比赛中经常使用到的一个利器,它通常可以在各种不同的机器学习任务中使结果获得提升。顾名思义,模型融合就是综合考虑不同模型的情况,并将它们的结果融合到一起。模型融合主要通过几部分来实现:从提交结果文件中融合、stacking和blending。从提交结果文件中融合最简单便捷的方式就是从竞赛的提交结果文件中进行融合,因为这样做并不需要重新训练模型,只需转载 2017-08-02 15:08:38 · 7431 阅读 · 0 评论 -
caffe平台搭建~~sjtuicat 实验室倾情奉献!
Caffe+Ubuntu_16.04.3+CUDA_8.0_linux+Cudnn_5.1v硬件配置:双硬盘双系统,512G固态硬盘装了win10,2T机械硬盘装了Ubuntu16.04双显卡:集显加独显(GTX 1080Ti)先安装win10,再装Ubuntu16.04,都是用UltraISO制作了U盘引导盘安装,安装win10+Ubuntu双系统不做详述。软件包:SW_DVD9_Win_Pro...原创 2017-11-10 20:23:29 · 785 阅读 · 0 评论 -
caffe平台搭建可能遇到的bug及解决方法
################### ImportError: No module named skimage.io #############有一些python库没有安装,在import caffe测试时会出错,常见的库缺失错误:ImportError: No module named skimage.ioImportError: No module named sc原创 2017-11-10 20:24:50 · 348 阅读 · 0 评论 -
LSTM模型详解
(一)LSTM模型理解1.长短期记忆模型(long-short term memory)是一种特殊的RNN模型,是为了解决RNN模型梯度弥散的问题而提出的;在传统的RNN中,训练算法使用的是BPTT,当时间比较长时,需要回传的残差会指数下降,导致网络权重更新缓慢,无法体现出RNN的长期记忆的效果,因此需要一个存储单元来存储记忆,因此LSTM模型被提出;2.下面两个图可以看出RNN与LSTM的区别:...转载 2018-03-08 15:37:47 · 75553 阅读 · 2 评论 -
Linux 16.04+Caffe+TensorFlow+CUDA9
详细说明:1. Caffe 官网地址:http://caffe.berkeleyvision.org/ TensorFlow官网地址:http://tensorflow.google.cn2. 本安装方法参考欧新宇老师博客:点击打开链接 https://blog.csdn.net/shiorioxy/article/details/788501993. 运行平台为:Intel i5, nv...原创 2018-05-23 21:56:46 · 381 阅读 · 0 评论