MAth--------CSDN博客

原创 ubuntu18.04安装+NVIDIA Driver+CUDA+CUDNN

镜像安装mac命令行键入hdiutil convert -format UDRW -o ~/Downloads/ubuntu-18.04.3-desktop-amd64.img ~/Downloads/ubuntu-18.04.3-desktop-amd64.isodiskutil listdiskutil unmountDisk /dev/disk3sudo dd if=/Users/...

2020-01-15 20:27:24 759

原创深度学习训练速度优化：数据加载到内存中缩短IO时间

最近在ImageNet上训练无监督算法，即使数据加载到nvme ssd还是达不到最快速度，io时间仍是瓶颈，将数据全部加载到内存中可以加快io。mount -t tmpfs -o size=200G tmpfs /home/user/ILSVRC2012/train/将140G左右的ImageNet全部加载到内存中，内存做硬盘，挂载点选好后，原来处于挂载点处的数据会消失，不过重启便可复原。由...

2020-01-10 23:58:21 3152 4

原创 Linux 笔记

运行级别Linux分为7个运行级别0:关机1:单用户2:多用户无网络3:多用户有网络4:保留5:图形界面6:重启配置文件/etc/inittable 可修改开机默认启动的运行级别init [0123456]可进入不同的运行级别单用户模式可以修改root密码，开机时可选择进入单用户模式，此时不需要输入root密码便可进入root用户。所以用passwd命令即可更改root密码。...

2020-01-10 18:14:36 109

原创论文阅读:Unsupervised Deep Learning by Neighbourhood Discovery

Unsupervised Deep Learning by Neighbourhood Discovery论文的ideaUnsupervised Feature Learning via Non-Parametric Instance Discrimination提出将每一个sample看作一个instance，这样便可以learn出比较好的结果。这样即便是类别一致的instance也要被强制...

2019-12-11 15:51:16 965

原创论文阅读：Representation Learning with Contrastive Predictive Coding

Representation Learning with Contrastive Predictive Coding 参考一些NLP方法理解Contrastive LearningCPCMotivation: 该论文认为，随着预测未来更多的帧，一些noisy的低层信息会被忽略掉，更多的共享信息(该论文称之为slow features)会被提取到，这也是一些更应被关注的信息。论文举了几...

2019-12-09 16:18:10 4593 2

原创 Mutual Information的理解及应用

Understanding To Definitions in Information TheoryKL Divergence The KL Divergence depict the divergence of two distribution, for example. Actually, we do not know the correlation between the two ran...

2019-12-07 16:38:43 640

原创 React笔记

React双向数据绑定(MVVM):主要用在表单中数据(Model)改变，视图(View)改变，视图(View)改变，数据(Model)改变React不是一个MVVM的框架，可以通过事件绑定来实现MVVM。比如对于一个input，实现vm，需要绑定onChange方法，通过onChange事件中调用setState来实现model的改变父子组件传值对于子组件主动获取父组件或...

2019-11-29 00:38:35 144

原创 caffe编译过程中的问题

论文中比较的某些方法，由于历史遗留问题，只有caffe版本的代码可以使用。安装过程：1.下载源码2.配置下Make文件3.make all4.make test5.make runtestfollow 官网步骤即可http://caffe.berkeleyvision.org/installation.html相关的库文件可参照http://caffe.berkeleyvisi...

2019-10-09 16:27:03 155

原创利用TiKZ绘制CNN(卷积神经网络)

几个重要的规则offset符号 ++和+\draw[latex-latex, red] (0,-2) -- ++(-1,1) -- ++(-1,-1); %code 1\draw[dashed, blue] (0,1) -- +(-1,1) -- +(-2,0); %code 2tikz又一个很重要的概念，当前点，这样的设计类似于某种状态机。code 1这条命令将绘制(0,-2)...

2019-07-15 20:40:31 3141

原创 screen命令

screen是个非常好用的工具，它可以让远程正在执行的任务维持在一个session中，即便断网或者各种特殊情况也可以重新恢复。各种screen常用的命令 screen -ls显示各种screen session screen -S name创建一个名为name的session screen -X -S name quit 在detache状态下删除某个session screen -r...

2018-03-22 17:37:00 240

原创 caffe转换tensorflow工具caffe-tensorflow

caffe-tensorflow转换介绍及使用caffe-tensorflow可以将caffe的网络定义文件和预训练参数转换成tensorflow的形式，包括tensorflow的网络结构源码和npy格式的权重文件。从github上下载源码，进入源码目录运行convert.py即可。其调用格式为python convert.py def_path --caffemodel caffemode

2017-12-23 23:52:21 2128 1

原创 LRN在caffe和tensorflow中的不同实现

Local Response Normalization,其作用是实现“侧抑制”。 bix,y=aix,y/(b+α∑j=max(0,i−r)min(i+r,n−1)a2x,y)βb_{x,y}^i = a_{x,y}^i/(b + \alpha\sum_{j=max(0,i-r)}^{min(i+r,n-1)}a_{x,y}^2)^{\beta} 在channel维度上进行抑制，从公式中可以看

2017-12-23 16:33:40 812

原创 tensorflow saver restore固定的layer

tensorflow 中的saver可以保存和恢复模型，有的情形需要修改网络但需要之前网络结构的参数，例如alexnet最后的1000维要换成需要的维数，则finetune时需要载入fc7之前的参数。则在创建saver的时候指定restore的变量 saver = tf.train.saver([v for v in tf.trainable_variables() if v.name

2017-12-19 14:55:52 506

原创 sshfs

sshfs使用sshfs -o transform_symlinks user@host:remote_dir/ mount_point/

2017-12-18 13:23:31 226

原创施密特正交化的几何解释

线性代数中最头疼的公式恐怕就是施密特正交化了。但其实搞清楚它的几何原理之后公式的记忆就简单多了，数学重在理解!给定一组基α1,α2,...,αn\alpha_1,\alpha_2,...,\alpha_n,将其变换成另外一组正交基β1,β2,...,βn\beta_1,\beta_2,...,\beta_n,使这两组基等价施密特正交化方法： β1=α1\beta_1=\alpha_1 β2=

2016-05-19 01:25:06 54290 18

原创 force-direct力引导算法

数据可视化算法中的图可视化算法，基于力引导模型，每个顶点看作一个点电荷，任两个顶点之间有库伦力，而图中的每个边看作一个弹簧，初始状态在一个有限的区域内随机每个点的位置，然后对每个点受力进行计算并更新位置信息，直到每个点都达到平衡位置具体算法： 1.读取图信息并保存在邻接链表中 2.初始化每个点的位置（随机生成） 3.计算每个点受到的库伦力，由库伦力的公式生成

2016-05-18 14:10:45 9577 5

原创 rbf神经网络的实现

RBF神经网络的实现rbf神经网络只有一个隐含层，但是隐含层和输入层之间不再是有对应权值的线性组合，而是采用径向基函数，这里的径向基函数采用的是高斯函数， ∅=e^(-〖norm(xp-ci)〗^2/(2σ^2 )) 采用k均值方法确定m个隐层神经元的中心，具体做法是先初始化m个隐层神经元的中心为随机m个输入，并对每一个输入进行聚类，方法是找到m个隐层神经元对应的中心中最

2016-05-17 00:07:27 5994

newworld123made的博客