B1009的博客

转载 winograd

原创 TVM YOLOV3 tuning 结果

cuda9.0 cudnn7.5 V100

原创 VIM 配置

git clonehttps://github.com/gmarik/Vundle.vim.git~/.vim/bundle/Vundle.vimsudo pip install --upgrade pipmkdir -p ~/.vim/autoload ~/.vim/bundle && curl -LSso ~/.vim/autoload/pathogen.vim ...

转载 pytorch 定义自己的数据集

class MNIST(data.Dataset): def __init__(self, root, train=True, transform=None, target_transform=None, download=False): self.root = root self.transform = transform self.ta...

转载 pytorch basic

import torch import torchvisionimport torch.nn as nnimport numpy as npimport torchvision.transforms as transforms# ================================================================== ## ...

原创 排序

#include <iostream>#include <vector>using namespace std;void merge(vector<int>& nums, int start, int middle, int end) { int len = end - start; vector<int> temp(len ...

原创 KMP

void getNext(string s, vector<int>& next) {    next[0] = 0;    int p_len = s.length();    int i = 1;    int j_len = 0;    for (; i < p_len; i++) {        while (j_len > 0 &...

转载 YOLOv3 yolo_layer.c

for (b = 0; b < l.batch; ++b){ for(n = 0; n < l.n; ++n){ int index = entry_index(l, b, n*l.w*l.h, 0); // 对 tx, ty进行logistic变换 activate_array(l.output + index, 2*l.w*...

转载 VS protobuf

1、下载protobuf接下到项目解决方案文件夹deps下2、附加包含目录：../deps/protobuf-2.5.0/src3、附加库目录：    ../deps/protobuf-2.5.0/lib/debug  (release下：../deps/protobuf-2.5.0/lib/debug)4、附加依赖性： libprotobuf.lib5、预处理器定义：_SCL_S...

转载 RNN

RNN模型我们先来看一个RNN经典结构，图1展示了一个典型按时间展开后的RNN结构。从图1可以看出，RNN在每一个时刻都有一个输入Xt，然后根据当前节点的状态At计算输出值ht，而At是根据上一时刻的状态At-1和当前的输入Xt共同决定的。和卷积神经网络卷积核或池化核的参数共享类似，这里RNN结构中的参数在不同时刻中也是共享的。1.2.1 RNN前向传播过程图2 RNN的前...

转载 CUDA

Open topic with navigationYou are here: How To: Set Breakpoints in a Shader > Walkthrough: Debugging a CUDA Application > CUDA Project PropertiesCUDA Project PropertiesNVIDIA® Nsight™ Ap...

转载 SGD

SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。SGD就是每一次迭代计算mini-batch的梯...

原创 Blas 函数及其对应操作

转载 BN层和CONV层合并

卷积层中卷积权重： W，卷积偏置：B卷积层运算：BN 层中均值： ，方差：，缩放因子：，偏移：， 一个较小数（防止分母为0）：                    BN层和卷积层合并后： ...

转载 权值初始化方法之Xavier与MSRA

首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在： 一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。 这里先介绍一个方差相乘的公式，以便理解Xavier：Xavier现在我们先来分析一层卷积：  其中ni表示输入个数。根据概率统计知识我们有下面的方差公式： 特别的，当我们假...

转载 CONV 反向传播

前向传播：    这里只说CNN前向传播不同于全连接前向传播的部分，即：输入层到卷积层和卷积层到池化层。 1、输入层到卷积层的前向传播输入层到卷积层，采用的是局部连接，参数共享，卷积操作的方式，进行计算的，有个最好的说明就是cs231n笔记中的gif图，现展示如下：    图中有两个卷积核，w0和w1，注：这两个卷积核是已经翻转过的，然后进行协相关操作。由于输入的是3个...

转载 Caffe 全连接层

深度学习笔记（6）全连接层的实现：全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏...

翻译 C++性能

C++性能调优：C++性能调优方面的几个基本原理：I/O 的开销是昂贵的 函数调用的开销是一个因素，因此我们应该内联短小的并且频繁调用的函数 复制对象的开销是昂贵的，最好是按照引用传递，而不是按值传递但是上述三条准则没有涵盖所有的准则，C++ 性能提高的主要问题是对不必要的对象的创建以及后面的清除，这些不必要的对象预计要使用但是实际并没有使用。构造函数和析构函数：继承：在构造...

转载 CUDA执行

整理一下CUDA同步和异步的执行。相关内容大部分来源于相关网络http://blog.163.com/wujiaxing009@126/blog/static/71988399201712035958365/cudaMemcpy(d_a, a, numBytes, cudaMemcpyHostToDevice);increment1,N>>>(d_a)cudaMemcpy(a, d_a, nu

原创 OpenCL执行

首先OpenCL同一个Command Queue中的Kernel 是按照顺序执行的。Kernel1、Kernel2、Kernel3依次如commandQueue.执行顺序如图所示。我们知道在Kernel的时候其实CPU端和GPU端可以进行交互的。然而，内核不是唯一可以在命令队列上排队的对象。内核需要数据才可执行其操作，而数据需要传送给设备以使用，这些数据可以是OpenCL缓冲区/子缓冲区或图像对象

原创 YOLO

这两天在看YOLO的论文，把看完的思路整理一下，同时结合网上的信息，如有侵权，请联系我。谢谢！如果有错误的地方还请大家指正。YOLO的主要思想是找box+计算confidence,，然后去连接层分类，其示意图如下图所示：我们输入一副图片，首先呢，我们把它分为s*s的cell，然后为每个方格计算相应的置信值也就是confidence .如果物体的中心落入这

原创 一种快速卷积实现方法

本文基于论文Fast Algorithms for Convolutional Neural Networks，并且整理了相关知识点。我们首先了解一下傅里叶变换：对于连续型傅里叶变换的频域核时域转换公式：

原创 线性代数在机器学习上的基本应用

本人硕渣一枚，之前研究方向为GPU并行计算。现在开始学习机器学习和深度学习。俗话说好记性不如烂笔头。仅以此记录我的学习过程。线性代数在机器学习方面有着重要的应用，为了更好的理解机器学习，复习一下线性代数。以前不知道线性代数在机器学习中的应用，这里我推荐大家学习一下李宏毅教授的课程讲解的非常好。这里以数字识别为例：首先一副图像输入如下所示：我们首先将图片16*

原创 centos 下 安装使用GoogleMock

googleMock 依赖于GoogleTest  。GoogleTest安装不多详解我们在https://github.com/google/googletest 下载google Mock 之后 我们解压文件夹之后进入文件cd googlemockcd makevim Makefile将gmock.a 改成libgmock.a gmock_main.a改成 li

原创 理解CNN

今年来，随着人工智能的发展，神经网络已经成为一个热门话题技术，下面我们来理解下CNN首先我们了解一下什么是卷积：卷积能够得到图像的某些特征信息，了解图像处理的人都知道，我们通过卷积可以对图像进行锐化或者模糊，其实是相同的原理，和某些模板卷积操作可以凸显图像的某些特征。首先我们想象：针对一个神经元，一幅640*360图像，一个神经元要对应640*360个像素点，即一个神经

原创 Median of two sorted array

There are two sorted arrays nums1 and nums2 of size m and n respectively.Find the median of the two sorted arrays. The overall run time complexity should be O(log (m+n)).Example 1:nums1 =

原创 Add Two Numbers

You are given two non-empty linked lists representing two non-negative integers. The digits are stored in reverse order and each of their nodes contain a single digit. Add the two numbers and return i

原创 Two Sum

Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution, and you may not use the sam