机器学习
MAth-------
写好每一行代码
展开
-
ubuntu18.04安装+NVIDIA Driver+CUDA+CUDNN
镜像安装mac命令行键入hdiutil convert -format UDRW -o ~/Downloads/ubuntu-18.04.3-desktop-amd64.img ~/Downloads/ubuntu-18.04.3-desktop-amd64.isodiskutil listdiskutil unmountDisk /dev/disk3sudo dd if=/Users/...原创 2020-01-15 20:27:24 · 727 阅读 · 0 评论 -
深度学习训练速度优化:数据加载到内存中缩短IO时间
最近在ImageNet上训练无监督算法,即使数据加载到nvme ssd还是达不到最快速度,io时间仍是瓶颈,将数据全部加载到内存中可以加快io。mount -t tmpfs -o size=200G tmpfs /home/user/ILSVRC2012/train/将140G左右的ImageNet全部加载到内存中,内存做硬盘,挂载点选好后,原来处于挂载点处的数据会消失,不过重启便可复原。由...原创 2020-01-10 23:58:21 · 3057 阅读 · 4 评论 -
论文阅读:Unsupervised Deep Learning by Neighbourhood Discovery
Unsupervised Deep Learning by Neighbourhood Discovery论文的ideaUnsupervised Feature Learning via Non-Parametric Instance Discrimination提出将每一个sample看作一个instance,这样便可以learn出比较好的结果。这样即便是类别一致的instance也要被强制...原创 2019-12-11 15:51:16 · 953 阅读 · 0 评论 -
论文阅读:Representation Learning with Contrastive Predictive Coding
Representation Learning with Contrastive Predictive Coding 参考一些NLP方法 理解Contrastive LearningCPCMotivation: 该论文认为,随着预测未来更多的帧,一些noisy的低层信息会被忽略掉,更多的共享信息(该论文称之为slow features)会被提取到,这也是一些更应被关注的信息。论文举了几...原创 2019-12-09 16:18:10 · 4529 阅读 · 2 评论 -
caffe编译过程中的问题
论文中比较的某些方法,由于历史遗留问题,只有caffe版本的代码可以使用。安装过程:1.下载源码2.配置下Make文件3.make all4.make test5.make runtestfollow 官网步骤即可http://caffe.berkeleyvision.org/installation.html相关的库文件可参照http://caffe.berkeleyvisi...原创 2019-10-09 16:27:03 · 149 阅读 · 0 评论 -
tensorflow saver restore固定的layer
tensorflow 中的saver可以保存和恢复模型,有的情形需要修改网络但需要之前网络结构的参数,例如alexnet最后的1000维要换成需要的维数,则finetune时需要载入fc7之前的参数。 则在创建saver的时候指定restore的变量 saver = tf.train.saver([v for v in tf.trainable_variables() if v.name原创 2017-12-19 14:55:52 · 499 阅读 · 0 评论 -
caffe转换tensorflow工具caffe-tensorflow
caffe-tensorflow转换介绍及使用caffe-tensorflow可以将caffe的网络定义文件和预训练参数转换成tensorflow的形式,包括tensorflow的网络结构源码和npy格式的权重文件。 从github上下载源码,进入源码目录运行convert.py即可。 其调用格式为python convert.py def_path --caffemodel caffemode原创 2017-12-23 23:52:21 · 2123 阅读 · 1 评论 -
rbf神经网络的实现
RBF神经网络的实现rbf神经网络只有一个隐含层,但是隐含层和输入层之间不再是有对应权值的线性组合,而是采用径向基函数,这里的径向基函数采用的是高斯函数, ∅=e^(-〖norm(xp-ci)〗^2/(2σ^2 )) 采用k均值方法确定m个隐层神经元的中心,具体做法是先初始化m个隐层神经元的中心为随机m个输入,并对每一个输入进行聚类,方法是找到m个隐层神经元对应的中心中最原创 2016-05-17 00:07:27 · 5973 阅读 · 0 评论