深度学习相关
Cbird-coder
将这人工智障的时代拉回正轨
展开
-
Tornado运行tensorflow卡死问题分析
在网上看到有人成功运行了tornado+tensorflow。但是看代码发现,那种运行时比较低效率的。每一个request都要重新建立一次session。我新建了全局session然后。各个进程就可以fork。然后session run就可以了。不用每次都重建。但是却发现了大问题。程序运行出现了死锁死锁死锁。通过python gdb进行跟踪,发现死锁在sess.run通过一下两种说法。https://github.com/tensorflow/tensorflow/issues/16969htt原创 2020-07-14 09:29:35 · 1386 阅读 · 0 评论 -
tensorflow2.0的模型保存加载的几个方法
tensorflow2.0中模型的加载更加便捷。我在github上新建了一个有关ner的项目,其中有对tensorflow2.0的api的一些详细使用。NER想了解更多tensorflow2.0中模型存储加载方法,可以直接到其官方网站tf2.0.我们这里说一下几个保存权重的方法:假如当前建立的模型代码如下:import tensorflow as tffrom tensorflow import kerasdef get_model(): # Create a simple model.原创 2020-05-14 18:32:59 · 3640 阅读 · 9 评论 -
XLM-R---XLM的升级版本
这几天研究跨语言无监督模型,研究XLM-R的时候。顺便把XLM看了。因为这两篇文章时紧耦合的。XLM-R依赖XLM的思想。XLM-R来源于Facebook的11月份新文章《Unsupervised Cross-lingual Representation Learning at Scale》是EMNLP2019的最佳论文。在100种语言上使用超过2.5T的数据进行训练。相对于XLM,XLM-R使...原创 2019-11-22 18:13:30 · 4283 阅读 · 3 评论 -
跨域预训练语言模型(XLM)
XLM来自于Facebook ai的论文《Cross-lingual Language Model Pretraining》。目前多数语言模型都是单语义(monolingual)模型,比如BERT、XLNET、google的T5等等。期望有一种语言模型可以实现多种语言的融合,然后在一种语言训练模型,通过XLM迁移到其他语言上。比如标注语料较多的英语,我们训练好EN-》DE的翻译模型,但是,像印地语...原创 2019-11-20 17:51:58 · 6208 阅读 · 0 评论 -
LSTM该不该使用RELU?
首先看下现在常用的激活函数最常见的就是σ\sigma函数 σ(x)=11+e−x\sigma(x)=\frac{1}{1+{e^-}^x} 其用在早期的神经网络中,但是多层神经网络存在梯度消失的问题。 tanh函数如下: tanh(x)=ex−e−xex+e−x\tanh(x)=\frac{ e^x-{e^-}^x}{ e^x+{e^-}^x} tanh函数也和σ\sigma函数类似,存在原创 2017-12-20 17:43:29 · 18567 阅读 · 0 评论 -
调试CRF出现的错误:cannot be interpreted as a Tensor.
CRF参考代码:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/crf利用tensorflow调试CRF代码出现如下错误:ValueError: Fetch argument cannot be interpreted as a Tensor. (Tensor Tensor("ReverseS原创 2017-12-12 18:28:53 · 8059 阅读 · 0 评论 -
tensorflow模型量化压缩
在使用tensorflow这个功能时候需要先下载tensorflow的源代码:git clone https://github.com/tensorflow/tensorflow.git进入tensorflow根目录,这里使用tools文件下的两个工具进行量化压缩:graph_transforms、quantization。 安装bazel进行tensorflow工具包的编译。 这...原创 2018-06-06 15:57:51 · 10702 阅读 · 25 评论 -
查看tensorflow pb文件中的变量名
参考: https://stackoverflow.com/questions/46696859/tf-graphkeys-trainable-variables-on-output-graph-pb-resulting-in-empty-list 具体代码:import tensorflow as tffrom tensorflow.python.framework import ...原创 2018-06-15 14:53:25 · 3869 阅读 · 0 评论 -
树莓派3B完成ncnn框架测试
1、安装ubuntu-mate首先准备一张空的SD卡,用来刻录树莓派镜像。 下载树莓派镜像16.04-mate https://ubuntu-mate.org/download/ mac系统下使用:diskutil list查看SD设备假设设备名称是/dev/disk3,准备写入数据:unxz ubuntu-mate-16.04.2-desktop-armhf-ras...原创 2018-07-28 17:27:21 · 4318 阅读 · 0 评论 -
3维可视化卷积神经网络
http://scs.ryerson.ca/~aharley/vis/conv/原创 2017-09-02 00:07:42 · 5132 阅读 · 3 评论 -
人脸检测算法MTCNN
本文将对人脸检测效果不错的MTCNN算法做一个梳理。 论文地址 MTCNN主要分为三步: 最初先对图像进行多尺度变换,获取图像金字塔,获取图像多尺度信息。P-net(Proposal Network):主要使用一个全卷机网络,获取候选框和这些候选框的bounding box regression向量组。然后评估这些候选向量,并进行校准。最后使用非极大化抑制来去除大量重复的候选区域。 P-N原创 2017-09-09 19:56:25 · 15399 阅读 · 0 评论 -
caffe之SSD算法词袋解析
text解析接口函数: https://developers.google.com/protocol-buffers/docs/reference/cpp/google.protobuf.text_format 代码如下:#include "caffe/proto/caffe.pb.h"#include <caffe/caffe.hpp>#include <iostream>#includ原创 2017-07-27 00:20:51 · 457 阅读 · 0 评论 -
Caffe框架初步理解
当前最火无非就是深度学习了。搞了大半年的机器人相关视觉东西,用的最多的也是Caffe。看网上有形形色色的Deeplearning的net,但是他们背后到底是什么样子的?这么说吧!这里我们把Caffe比作一个汽车。汽车怎么组成的?各种零件先组装成轮胎、发动机、车座、车外部框。。。然后这些组成的部件组成一个完成的车。那么有的人要问了这和深度学习框架Caffe有个毛的联系啊???!!!(ps:黑人问号脸)原创 2017-09-04 00:30:33 · 16363 阅读 · 1 评论 -
如何使用Caffe模型和权值进行开发
可能看到网上有很多关于适用caffe模型和权值实现各种应用的程序,但是怎么实现的呢。下面以一个程序一步步讲讲: 先上程序:Detector::Detector(const string& model_file, const string& weights_file) { google::InitGoogleLogging("ssd"); go原创 2017-09-04 00:57:26 · 705 阅读 · 0 评论 -
Caffe学习之一caffe安装
mac下安装caffe首先直接github下载caffe源代码: https://github.com/BVLC/caffe 克隆到本地 接下来开始编译caffe. 先安装矩阵运算库blas:brew install homebrew/science/openblas编译caffe之前,需要先安装相关的依赖库:for x in snappy leveldb gflags glog szip原创 2017-06-23 00:46:02 · 430 阅读 · 0 评论 -
solver.prototxt参数解析
solver.prototxt的一般结构先看一个实例: train_net:"models/VGGNet/VOC0712/SSD_300x300/train.prototxt" test_net:"models/VGGNet/VOC0712/SSD_300x300/test.prototxt"test_iter: 619test_interval: 10000base_lr: 0.001d原创 2017-08-22 19:38:16 · 6362 阅读 · 0 评论 -
目标检测之YOLO算法
项目地址:https://github.com/pjreddie/darknet编译:GPU=0CUDNN=0OPENCV=1OPENMP=0DEBUG=0按照自己系统的需求修改上面的参数,支持的修改为1. 然后直接make就好。 下载预训练的权值:wget https://pjreddie.com/media/files/yolo.weights这个权值是yolo默认的,比较大,检测速原创 2017-08-23 13:44:04 · 1484 阅读 · 0 评论 -
深度学习各种常见的Net
LeNet:基于渐变的学习应用于文档识别AlexNet:具有深卷积神经网络的ImageNet分类ZFNet:可视化和理解卷积网络VGGNet:用于大规模图像识别的非常深的卷积网络NiN:网络中的网络GoogLeNet:卷入更深入Inception-v3:重新思考计算机视觉的初始架构ResNet:图像识别的深度残差学习Stochastic_Depth:具有随机深度的深层网络WResNet:非常深的网络翻译 2017-08-27 23:09:37 · 2608 阅读 · 0 评论 -
caffe相关问题(持续更新。。。。)
case1: syncedmem.cpp:56] Check failed: error == cudaSuccess (2 vs. 0) out of memory这种情况下,可能有进程在使用显存,而且使用很多,已经耗尽显存了。无法再分配显存。使用:nvidia-smi查看显存使用情况:Mon Aug 21 17:22:35 2017+----------------------原创 2017-08-21 17:31:23 · 1040 阅读 · 0 评论 -
caffe学习之二----mnist集合训练及其测试
前一节完成了caffe的编译,接下来用一个脚本完成数据集的训练和测试#!/bin/bash cd ../../caffe #下载要使用的数据集 cd data/mnist/ ./get_mnist.sh cd ../../ #创建caffe用以训练的数据 ./examples/mnist/create_mnist.sh #训练模型 ./build原创 2017-07-23 11:57:27 · 336 阅读 · 0 评论