深度学习
周博士
现就职于浙江工业大学计算机学院,擅长机器学习,无线传感器网络,信号处理,计算机辅助设计,医疗图像理解。软硬通吃,可提供从嵌入式到算法的全套方案。有道笔记链接为个人介绍,更新速度较快:https://note.youdao.com/ynoteshare1/index.html?id=6d2df9759bb4b315a784bd22d1681e8b&type=note#/
展开
-
VS Code tensorboard打不开 报错
如果你在VS code中打开tensorboard时报错,说是conda没有配置好,要conda init什么的,那么我这里有几个步骤可以参考做一下。原创 2023-01-26 17:21:39 · 1351 阅读 · 0 评论 -
BCC BML 使用记录 百度云服务器 百度机器学习 深度学习
BCC 百度云服务器一开始听朋友介绍说这个不错,有Tesla V100,还是32G显存的,于是就赶紧去开一台看看。先吐槽一下:初始镜像没有图形界面想要访问外网必须买公网ip安装图形界面后卡在欢迎界面,循环登录那种装了pytorch后找不到gpu,即使nvidia-smi显示有GPU存在。客服像机器人,提交工单的那个客服也是似懂非懂,看起来像机器人。计时套餐,最基础V100机子,5~6个小时花掉100多rmb。所以试图在BCC上做深度学习训练模型失败了。BML 百度机器学习BCC失败后原创 2020-10-28 21:53:22 · 310 阅读 · 0 评论 -
cuda8.0 如何装pytorch,20200916
首先,pytorch官方有出历史版本的安装方法。最新的pytorch肯定是不行了。进到这个地址https://pytorch.org/get-started/previous-versions/,找到自己心仪的版本,我直接定位到了cuda80,具体的安装命令如下:conda install pytorch==1.0.0 torchvision==0.2.1 cuda80 -c pytorch但是,还有一个事情要注意,就是conda所处环境的python版本必须用较低版本的,经过本人的测试,pyth原创 2020-09-16 16:40:54 · 1390 阅读 · 0 评论 -
pytorch中batch normalisation的注意事项
torch中的各种批归一的注意事项,不间断更新20180402含有batchnorm的网络其train和eval时效果差距大和是否zero_grad及其位置关系不大,因为这个错了,train是多半不收敛的。主要是因为BN的输入随着训练的进行是时变的,非稳态的,除非训练完全收敛,且学习率很小,并进行了多个batch的训练,此时的running mean 和running var才会收...原创 2018-04-02 11:17:21 · 2692 阅读 · 0 评论 -
conda 安装caffe 缺少libprotobuf python3.6
caffe 安装记录在conda中安装caffe,准确的说是编译caffe,最重要的一件事情就是认真修改Makefile.config。python是miniconda3中pytorch环境下的python3.6protobuf用的miniconda3中pytorch换进内的版本用的是opencv3如果遇到libprotobuf.so.14找不到,可以用下列命令 (make r...原创 2018-08-25 06:09:31 · 1810 阅读 · 0 评论 -
Pytorch 深度学习 模型训练 断点继续训练时损失函数恶化或与断点差异较大
文章目录问题描述问题所在pytorch模型定义、存储、恢复注意问题描述pytorch版本1.0。神经网络结构主要为残差模型,带有BatchNormalization。在断点继续训练时,发现模型的训练误差有较大恶化,通常恶化量为10%左右。问题所在data_loader的随机性导致每个minibatch再不同epoch都有所不同,而模型中BatchNorm在训练阶段会计算每个minib...原创 2019-01-22 03:39:17 · 11294 阅读 · 3 评论 -
torch mac openmp
mac上要使用openmp,只要装一个版本高点的gcc就可以了。终端要能上internet装homebrewbrew install gcc调整mac终端的默认gcc到你的版本。# 终端上网方法:export http_proxy=http://serverIP:serverPortexport https_proxy=http://serverIP:serverPort# prox原创 2017-07-21 21:26:29 · 924 阅读 · 0 评论 -
显存 内存 使用量估计 卷积神经网络 convolution torch finput
如何估算深度卷积神经网络的显存/内存消耗量torch7中是可以打印显示深度神经网络中各个神经网络层的内存占用情况,既每个Tensor的配置情况,比如batch大小为16的时候:nn.SpatialConvolution(3,4,4,4,2,2,1,1)-- cpu{ padW : 1 nInputPlane : 3 output : FloatTensor - size: 16x4x原创 2017-07-07 08:31:29 · 2996 阅读 · 0 评论 -
ubuntu循环登录 login loop Nvidia GPU GTX CUDA
安装nvidia 显卡驱动或者CUDA后ubuntu停留在欢迎界面,循环登录,这主要是显卡驱动安装方式不正确导致的。因为安装了nvidia显卡驱动导致循环登录1.如果nvidia只负责计算,显示则是另一张显卡或者集成显卡,那么:sudo service lightdm stopsudo nvidia.run --uninstallsudo reboot#如果重启后正常进系统,则执行下面,如果不原创 2017-06-28 21:18:23 · 5574 阅读 · 0 评论 -
google.protobuf.... modul not found
caffe is using anaconda, so, make sure the PATH you are using.cant find google.protobuf means you should install it with pip, the pip provided by the anaconda.if "pip install protobuf" failed, wit原创 2015-06-08 13:20:27 · 2175 阅读 · 0 评论 -
xavierFiller 体会
之前用caffe时,权值是用的xavierFiller填充的,配合以比较小的学习速率(SGD),发现效果出奇好,随便配置下网络,就能干到94%+的准确率,不论训练集还是测试集。不知道原因找的准不准,贴出配置,供查阅。下面是solver的配置:# The train/test net protocol buffer definitionnet: "./car_detector_tr原创 2015-06-21 14:58:18 · 3035 阅读 · 1 评论 -
caffe, torch, theano
http://fastml.com/torch-vs-theano/caffe for application.torch and theano for research.since i already spent a lot of time in caffe, I prefer go on with caffe until cant.原创 2015-06-10 10:38:04 · 973 阅读 · 1 评论 -
torch7 nn 模块 ClassNLLCriterion
nn模块中的loss函数有一个选择就是:nn.ClassNLLCriterion。既The negative log likelihood criterion。需要说明的是,其表达式criterion = nn.ClassNLLCriterion([weights]) 中,weights是用于类别加权的,为一个1维的Tensor。============模块自带文档============原创 2015-06-16 10:46:28 · 3872 阅读 · 0 评论 -
caffe prototxt 编写注意
https://github.com/BVLC/caffe/blob/dev/src/caffe/proto/caffe.proto这个是要参考的,里面有各种参数的说明。layer { name: "car_detector" type: "Data" top: "data" top: "label" include { phase: TRAIN原创 2015-06-09 13:24:53 · 4823 阅读 · 0 评论 -
nn.MSECriterion()
criterion = nn.MSECriterion()criterion.sizeAverage = falseerr = criterion:forward(pred, target))执行过程如下:err=sum((pred-target).^2) %matlab等效代码如果criterion.sizeAverage = true --默认值则执行过程如下err=mean(原创 2015-09-28 20:43:58 · 2809 阅读 · 0 评论 -
caffe python 接口使用
net.params['conv1'][0].data注意,0是weight, 1是bias原创 2015-06-09 16:27:10 · 701 阅读 · 0 评论 -
ubuntu 14 cuda cudnn 重装 安装 cutorch
上篇博文说到,由于ubuntu系统自动升级导致系统循环登录,不能正常使用。 博主一怒之下就用下面代码重装了sudo apt-get autoremove nvidia*sudo apt-get autoremove ubuntu-desktopsudo apt-get install nvidia-currentsudo apt-get install ubuntu-desktop结果就是显原创 2017-03-11 14:58:09 · 3068 阅读 · 5 评论 -
Torch7 15分钟学习文档 记录
http://tylerneylon.com/a/learn-lua/ 一段带有丰富注释的代码。Only nil and false are falsy; 0 and '' are true!调试环境根据建议,用eclips。感觉代码风格有点像matlab和python的混血,看来前段时间的python没白啃。原创 2015-06-11 09:37:03 · 1407 阅读 · 1 评论