- 博客(51)
- 资源 (6)
- 收藏
- 关注
原创 AutoAWQ Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:
这里是指有部分数据在GPU上,有部分数据在CPU上,设备不统一,无法进行计算,修改脚本添加device_map参数即可。
2024-09-03 09:49:17 125
原创 LLM量化--AWQ论文阅读笔记
在本文中,提出了激活感知权重量化(AWQ),这是一种面向硬件的LLM低比特权重量化方法。猜想基于这样一种观察结果:权重不是等同重要的,仅保护1%的显著权重就能大大的减少量化误差。然后我们提出了通过观察激活来搜索最优的每个通道的缩放因子,以保护这些显著的权重。QAT因为高训练成本效率低,PTQ在低精度的时候精确度下降的多,最接近的工作是GPTQ,这种方法采用二阶信息来进行误差补偿,但是,它在重构的过程会过拟合校准集。
2024-07-15 15:25:21 1698 2
原创 卷积实现—im2col+gemm
看卷积的实现,先看其普通的计算方式:滑窗计算和其计算shape大小的公式,以及各个卷积特性对其计算的影响,比如:stride,group,dilation,pad等。HoutHin−khptpbstrideh1WoutWin−kwplprstridew1上面公式以2D卷积为例,输出特征图的形状计算公式。
2023-06-25 19:13:58 1517
原创 boost生成xml与tinyxml之间的格式转换
相关链接:畅游C++ Boost Serialization 序列化本博客将普通xml转成boost可读; 之前做项目,发现一个问题就是用boost生成的xml与tinyxml生成的xml格式不同,具体大概为这样:tinyxml与boost都是处理xml的工具:下图为tinyxml与boost读一个boost生成xml后重新生成的xml (这里想展示的是格式上区别,其实还有点不同的是,就是科学计数法的方式,bo
2020-06-20 01:23:19 345
原创 STL-undered_map用法(C++)
1.介绍: unordered_map是一个关联容器,内部采用的是哈希链表的结构,拥有快速检索的功能。 1、关联性:通过key的值去检索value,二不是通过绝对地址; 2、无序性:使用hash表储蓄,内部无序; 3、map:每个值对应一个键值; 4、键唯一性:不存在两个
2020-06-07 17:38:29 2470 2
原创 c#界面控件界面等比例缩放
本篇博客只针对本人在尝试做一个界面放大问题中所遇到的一些问题:目的:实现窗口放大,窗口内的控件也等比放大;(成功)1.anchor属性改变取得的效果不理想;2.控件放大比例不一样;3.在放大的过程中出现界面乱(看起来软件有点像盗版)下面以下图为例讲解:当我们设计好窗口后是这样的:当我们拉大时:网上有很多方法使用了改变anchor属性的方法;简单说一下anchor属性,就是让空间到界面上下左右的距离不变,实现效果会很奇怪,我们来看一下操作:Anchor属性添加尝试在控件属性中添加anc
2020-05-24 14:02:14 11483
原创 ubuntu服务器搭建tensorflow-gpu
路人搭载方法612同学搭载方法:在服务器上有anaconda ,已经配好的cuda+cudnn;1.先登录进入服务器,先安装anacondacd /home/public/Packages/ls./Anaconda-3.5.2.0-Linux-x86_64.sh开始安装,默认装到自己名下账户的文件夹内。然后开始换源,加快安装速度。(pip换源自行百度)换源之后开始创建环境与安装输入conda create -n (环境名称) python=3.5(python必须3.5或3.6,3.6
2020-05-18 15:28:56 421
原创 NAS发展之路
本篇文章沿用知乎上一位前辈给的线索做出拓展学习如何看待神经框架搜索的发展Neural Architecture search with Reinforcement learning 这篇文章是最初的一篇文章,如前辈所述,总体特点就是大力出奇迹。下面详细的介绍一下这篇文章:(因为用ppt更加直接,所以我喜欢在学习的过程中做成ppt以免之后...
2020-05-09 15:04:20 480
原创 leecode-1162:地图分析官方代码解读
本来这个题可以用一个简单的多源广度搜索(广度搜索+队列)就可以解决,但是官方的一个动态规划用的很巧妙,如果用在C语言中,可以节省很多空间,现在对于这个动态规划做出代码的解读,大致思路大家可以在官方去查看:第一阶段:f(x,y)={0,(x,y) is land min{f(x−1,y),f(x,y−1)}+1,(x,y) is ocean...
2020-03-30 01:51:31 687
原创 LSTM如何解决梯度消失与梯度爆炸
这是一张经典的LSTM示意图,LSTM依靠 ftf_tft、iti_tit、oto_tot来控制输入输出,ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)ft=σ(Wf⋅[ht−1,xt]+bf)it=σ(Wi⋅[ht−1,xt]+bi)i_{t...
2020-03-28 13:06:45 2848
原创 LSTM的经典变式
之前描述的LSTM结构是最为普通的。在实际的文章中LSTM的结构存在各种变式,虽然变化都不会太大,但是也值得一提。peephole connections结构 由Gers & Schmidhuber (2000)提出,它在LSTM的结构中加入了“peephole connections.”结构,peephole connections结构的作用是允许各个门结构能够看到细胞信息,具...
2020-03-28 12:14:58 970
原创 LSTM的原理和实现
LSTM网络结构 long short term memory,即我们所称呼的LSTM,是为了解决长期以来问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。 LSTM也有与RNN相似的循环结构,但是循环模块中不再是简单的网络,而是比较复杂的网络单元。LSTM的循环模块主要有4个单元,以比较...
2020-03-28 00:32:08 3677
转载 RNN梯度消失和爆炸的原因
一个经典的RNN结构如下图所示: 假设我们的时间序列只有三段, S0S_0S0为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下:S1=WxX1+WsS0+b1O1=WoS1+b2S_{1}=W_{x} X_{1}+W_{s} S_{0}+b_{1} O_{1}=W_{o} S_{1}+b_{2}S1=WxX1+WsS0+b1O1=WoS1+b2S2=Wx...
2020-03-27 14:20:48 2012 4
原创 图
图的几种储存方式,邻接矩阵,邻接表,逆邻接表,十字链表。邻接表中储存着该元素的下一个节点可以到达的节点,逆邻接表中储存的是可以在下一个节点直接到达该点的元素,十字链表综合了两种表的特性,但是就概念模型而言,比较耗费存储空间,做内存优化之后,将边看成元素,储存相邻两个节点的index,在链表的后面,存入边,如图所示: 在遍历图时,对图中的每个顶点至多调用一次(DFS)函数,(深度优先搜索),因...
2020-03-04 22:15:53 139
原创 数据结构 c —查找
用平均查找长度衡量算法性能。ASL=∑i=1nPiCiA S L=\sum_{i=1}^{n} P_{i} C_{i}ASL=i=1∑nPiCi 其中, PiP_iPi为查找第i个记录的概率,CiC_iCi为找到表中其关键字与给定值相等的第i个记录时,和给定值已进行过比较的关键字个数。为了提高效率,可以在每个记录中附设一个访问频度阈。 提高检索效率的方法: 1...
2020-02-24 15:09:44 327
原创 R-CNN、SPPNet、Fast Rcnn、Faster R-CNN 原理以及区别
R-CNN原理:R-CNN遵循传统目标检测的思路,同样采取提取框,对每个框提取特征,图像分类,非极大值抑制等四个步骤,只不过在提取特征这一步将传统的特征换成了深度卷积网络提取的特征。对于原始图像, 首先使用Selective Search 搜寻可能存在物体的区域。Selective Search 可以从图像中启发式地搜索出可能包含物体的区域。相比穷举而言, Selective Search 可...
2020-02-19 21:15:57 1321
原创 学习资源1
近些天在家里过年,因为新型冠装病毒,这个寒假延长了很就,但是学习不能耽搁,最近师兄们找工作,让我对算法的重视程度有增加了一栏,搜索了一些学习资源,以备之后学习所需要一个算法学习博客内容提要:数据结构与算法分析—C语言描述,这本书课后题很多很多都是面试经典题型,《编程之美》中很多题都是借鉴的这本书上的《算法设计与分析基础》——复杂度分析,分治,动态规划,回溯。《算法引论》从创造性的角度讲述如...
2020-02-06 21:33:35 201
原创 注册表清除
之前搜索的资源还挺多,慢慢开始觉得好像资源都消失了,为了方便使用,于是决定自己写一篇备用找到mathtype注册表并删除,在运行栏里搜regedit进入注册表编辑器,然后按此路径 计算机\HKEY_CURRENT_USER\Software\Install Options 找到然后删除Options6.9即可...
2020-01-14 15:18:03 405
原创 UDP SOCKET最全解析 ——linux 系统搭建
首先先说一下我搭建的配置环境,我是在win10系统的linux 虚拟机的环境下搭建的,在vim界面中进行编程…省略一系列虚拟机环境以及vim尝试的过程开始正式的讲解:UDP适合小数据的传输先看一下整体的流程图:其实UPD的搭建就是函数调用,函数是包里已经弄好的函数,我们只需要自己配置一下端口和网络地址均可;现在开始客户端和接收端函数的讲述:接收端:#include<sys/t...
2019-12-06 20:01:14 365
原创 xml文件的C++读入
我这里用的是VS2015,使用 tinyxml 但是也还是要装库:1.下载一个tinyXML的压缩包,下载地址:https://sourceforge.net/projects/tinyxml/打开并用现有的VS将tinyxml里面的两个工程tinyxml、tinyxmlSTL 用现有的VS环境跑一下,可能会遇到一些字符的错误,但是修改只需要将报错的地方的""加全即可,跑完之后得到.lib文件...
2019-11-28 14:10:44 512
原创 UDP SOCKET 两台电脑通信
最近调UDP两台PC(win 与linux)通信调了很久,之前主要的VMvare 装的linux系统与win10的通信没有问题,但是linux与别的通信就不行,调试了很久,防火墙什么的都关了也是无济于事,具体表现为发送可以发送成功,但是接收不到,后来用来nc的命令进行UDP调试,才发现本身就是虚拟机的问题,表现为虚拟机可以和本机nc通,但是虚拟机不能与外界其他电脑nc通,于是更换了另外一台Linu...
2019-11-22 00:04:35 3181
原创 VS 用C++创建一个动态库调用
最近需要使用一个动态库调用,现在在这里把基础和踩的坑总结一下VS2015 与Blend for VS2015没有分清,导致新装的VC++库第二次打开就没有了,又对程序卸了装,装了卸载,出现的现象是VS刚安装好,然后打开启动发现里面VS C++的库都是全的,的但是关闭后在打开就是不全的了。。。其实打开错了,打开的是Blend VS2015。 emm…用VS2015创建一个新项目,选择Win...
2019-11-18 23:25:51 492
原创 遥感图像处理—SSDD与SSDD+数据集
SSDD与SSDD+数据集链接对上面这篇知乎简单的整理一下:SSDD给予PASCAL VOC 的数据,使用在PASCAL VOC上的代码可以直接使用在SSDD上。PASCAL VOC目标大概可以分成大中小三中目标,而SSDD中多数为小目标SSDD+的数据集相对于SSDD数据将垂直边框变成了旋转边框,旋转边框可在完成检测任务的同时实现了对目标的方向估计。...
2019-09-25 23:04:00 9424 4
原创 tensorflow基础学习——滑动平均模型与学习率的理解
在看代码中的时候看到这么一行参数# 配置模型相关参数LEARNING_RATW_BASE = 0.8 # 基础的学习率LEARNING_RATE_DECAY = 0.99 # 学习率的衰减率REGULARIZATION_RATE = 0.0001 # 描述模型负责度的正则化项在损失函数中的系数TRAINING_STEPS = 30000 #...
2019-09-19 22:00:32 275
原创 神经网络基础学习—四种上采样
第一种上采样:第二种上采样:第三种上采样:第四种上采样:其中第四种是一个反卷积的过程:如上图输入时一个22的图像,核是一个44的矩阵,该式子采用步长为3,对其进行反卷积,重叠部分进项相加。...
2019-09-17 22:12:30 3129
原创 神经网络基础学习笔记—s激活函数
在激活函数中,我们常常要考虑激活函数的阈值。可以看到,在输入值比较小的情况下,输出为0,然而,一旦输入达到阈值,输出就一跃而起。
2019-09-02 15:46:59 1999
原创 tensorflow基础学习—LeNet-5模型
LeNet-5模型是第一个成功应用于数字识别问题中的卷积神经网络,在MNIST 数据集上, LeNet-5 模型可以达到大约99.2% 的正确率。LeNet-5 模型总共有7 层第一层:卷积层:这一层的输入就是原始的图像像素, LeNet-5 模型接受的输入层大小为32 * 32 *1 。第一个卷积层过滤器的尺寸为5 × 5 ,深度为6 ,不使用全0 填充,步长为1 。因为没有使用全0填充,所...
2019-08-30 15:14:09 601
原创 tensorflow基础学习—卷积神经网络_池化层
在卷积神经网络的大致结构,卷积层之间往往会加上一个池化层,池化层可以有效地缩小矩阵的尺寸,从未减少最后全连接层中的参数,使用初花层可以加快计算速度也有防止过拟合问题的作用。与卷积层类似,池化层前向传播的过程也是通过移动一个类似过滤器的结构完成的。不过池化层过滤器中的计算不是节点的加权和,而是采用更加简单的最大值或者平均值运算。使用最大值操作的池化层被称之为最大池化层, 这是被使用得最多的池化层结...
2019-08-29 11:19:38 536
原创 tensorflow基础学习—卷积神经网络_卷积层
卷积神经网络中的过滤器,可以将当前层神经网络上的一个节点矩阵转化成下一层神经网络的单位节点矩阵,单位节点矩阵指的是长和宽都为1,但深度不限的节点矩阵。在一个卷积层中,过滤器所处理的节点矩阵的长和宽都是有人工指定的,这个节点矩阵的尺寸也被称之为过滤器的尺寸。常用的过滤器尺寸有33,或者55.因为过滤器处理的矩阵深度和当前称神经网络节点矩阵的深度一致的,所以虽然节点矩阵是三维的,但过滤器的尺寸只需要...
2019-08-28 20:45:32 524
原创 tensorflow基础学习—卷积神经网络与全连接神经网络
如图中显示的全连接神经网络结构和卷积神经网络的结构直观上差异比较大,但实际上它们的整体架构是非常相似的。从图中可以看出,卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样, 卷积神经网络中的每一个节点都是一个神经元。在全连接神经网络中,每相邻两层之间的节点都有边相连,于是一般会将每一层全连接层中的节点组织成一列,这样方便显示连接结构。而对于卷积神经网络,相邻两层之间只有部分节点相连...
2019-08-26 16:03:35 1451
原创 tensorflow基础学习—tensorflow 模型持久化
在训练完之后,将训练得到的保存下来方便下次使用,为了让训练结果可以重复使用,可以将训练模型持久化Tensor Flow 提供了一个非常简单的API 来保存和还原一个神经网络模型。这个API 就是tf. train. Saver 类。以下代码给出了保存TensorFlow 计算图的方法import tensorflow as tf #声明两个变量并计算出他们的和v1=tf.Variab...
2019-08-26 11:19:12 205
原创 tensorflow基础学习——变量管理—tf.variable_scope()
变量管理即是当神经网络参数在网络结构更加复杂的时候,参数更加多的时候,来用一个更好的方式来管理网络神经的参数,tensorflow提供他送过名称来创建或者获取一个变量名的机制,通过这个机制,在不同函数中可以直接通过变量的名字来使用变量,而不需要将变量通过参数的形式来传递。在创建变量的时候采用的“tf.get_variable()与tf.Variable()”等价,下面两种表达方式是等价的:#下...
2019-08-22 11:35:18 1748 1
原创 TensorFlow基础学习——MNIST数据集(1)
MNIST数据集是一个NIST数据集的一个子集,它包含了6000张的图片作为训练数据,1000张图片作为训练数据集1000张图作为测试数据集在MNIST数据集中每张照片都代表了0-9中的一个数字,图片的大小为28*28用如下代码导入MNIST的数据包:from tensorflow.examples.tutorials.mnist import input_datamnist = inp...
2019-08-02 16:09:45 793
原创 tensorflow基础学习—滑动平均模型
滑动平均模型可以再一定程度上提高最终模型在测试数据上的表现,下面来说说我对它的理解。下面来介绍一下google 关于滑动平均模型的原话介绍:在tensoreflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage时,需要提供一个衰减率(decay)。这个衰减率将用于控制模型更新的速度。Expo...
2019-07-26 15:17:52 394
原创 Windows安装python 的模块
最近在公司受到安装anaconda3模块的启发,安装python的模块也可以这样,在官方下载的安装包里自带的有python的pip,在pip中更新为最新的pip,然后开始装模块:在cmd 中进到python pip所在的目录下:首先打开cmd,先查看python 所在的安装目录(我的在:C:\Users\15597\AppData\Local\Programs\Python\Python37-...
2019-05-27 17:16:04 641
原创 Cadence SPB安装及重装
一、Cadence 第一次安装问题下载Cadence 16.6安装包接下来步骤见Cadence安装链接二、Cadence 重装问题Cadence 重装就算把之前安装的所有文件全部删除依然会失败,用下面的方法后重新安装就可以了,找到安装包里的Disk 里的setup.ini用记事本打开,然后将ProductGUID=4CA5F148-A11D-4D37-A2D3-CCFC671F113...
2019-04-12 20:01:18 1948
原创 图像处理-遥感图像飞机小目标提取
第一个是遥感飞机图像小目标提取,就是一张从高空拍摄的机场的照片,最后完成时将图像中的飞机数量求出,并标记出位置。总的流程可以分为图片预处理,提取特征,匹配特征,标记计数。先在原图中截取背景单一的含有目标提取物的图片进行特征采集,可使匹配更加准确。特征采集过程与图像处理是一个过程,只是一个数据采集的过程。预处理的目的是将图片二值化,利用连通域去除大面积的背景杂物,主要的杂物背景包括一些大面积的建筑...
2019-03-19 16:05:41 3195 1
原创 Verliog 写电子密码锁
1.为什么要分频?主要是为了给其他模块一个时钟源,不同的模块需要不同的时钟源,比如时间计数,时间分为一秒一秒的,LED的现实模块,LED是通过人的视觉差来达到让人觉的它在亮的效果,实际上说它是扫描比较的闪烁比较好。2.怎么分频?通过计数器来实现分频,所需要的频率与基础频率之间的计数关系,因为采用的是上升沿或者下降沿触发计数,两者有些不同,上升沿触发的分频时钟输出,如果N为奇数得到的时钟占...
2019-03-19 15:47:44 5887 4
原创 语音信号处理
本文包括语音端点检测,自相关,求基音周期,AR系数,语音合成,LPC求码本,最近文献的方法小波变换求基音周期。在完整文件下载地址里包含有十分规范的实验报告以及讲解和语音包以及各种函数,还包括有小波变换的MATLAB文件完整文件下载语音端点检测部分:%%addpath(genpath('sap-voicebox-master/voicebox'))[x,Fs]=audioread('1.wa...
2019-03-15 20:14:49 2709
ubuntu编译安装opencv的官方下载包
2020-12-04
caffe.zip(ubuntu系统编译好的gpu版本的caffe包)
2020-12-04
Visual Assist X.rar
2019-11-08
matlab 进行语音处理
2019-02-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人