计算一组Tensor的直方图C算法实现

置顶 已于 2022-07-25 13:37:27 修改
阅读量359 收藏
点赞数 7
分类专栏： 数学 算法 人工智能 文章标签： 人工智能
于 2022-07-20 21:24:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tugouxp/article/details/125900447
版权
人工智能 同时被 3 个专栏收录
156 篇文章 17 订阅
订阅专栏
数学
147 篇文章 19 订阅
订阅专栏
算法
103 篇文章 8 订阅
订阅专栏

Tensor量化中，计算信息度损失的的一个重要算法叫做KL散度算法，关于其介绍请参考博客：

模型量化中的KL散度扫盲_papaofdoudou的博客-CSDN博客_kl三度

本文介绍其程序实现：

首先构造一组TENSOR向量,维度为150528的列向量。

观察其原始的直方图分布，其分布特点如下图所示：

程序实现：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stddef.h>
#include <stdint.h>
#include <fcntl.h>
#include <unistd.h>
#include <math.h>
#include <sys/ioctl.h>
 
#define DBG(fmt, ...)   do { printf("%s line %d, "fmt"\n", __func__, __LINE__, ##__VA_ARGS__); } while (0)
#define min(x,y) ({ \
    typeof(x) _x = (x);    \
    typeof(y) _y = (y);    \
    (void) (&_x == &_y);    \
    _x < _y ? _x : _y; })
 
int get_tensor_from_txt_file(char *file_path, float **buf)
{
    int len = 0;
    static float *memory = NULL;
    static int max_len = 10 * 1024 * 1024;
    FILE *fp = NULL;
 
    if(memory == NULL)
    {
        memory = (float*) malloc(max_len * sizeof(float));
    }
    
    if((fp = fopen(file_path, "r")) == NULL)
    {
        DBG("open tensor error.");
        exit(-1);
    }
 
    while(!feof(fp))
    {
        fscanf(fp, "%f", &memory[len ++]);
    }
 
    *buf = (float*)malloc(len * sizeof(float));
    if(len == 0 || *buf == NULL)
    {
        DBG("read tensor error, len %d, *buf %p", len, *buf);
        exit(-1);
    }
    memcpy(*buf, memory, len * sizeof(float));
 
    fclose(fp);
 
    return len;
}
 
int main(int argc, char **argv)
{
    FILE *file;
 
    DBG("in");
 
    if(argc != 3)
    {
        DBG("input error, you should use this program like that: program tensor binsnum.");
        exit(-1);
    }
 
    int tensor0_len;
    float *tensor0_dat;
    int bins = atoi(argv[2]);
    
    tensor0_len = 0;
    tensor0_dat = NULL;
 
    tensor0_len = get_tensor_from_txt_file(argv[1], &tensor0_dat);
    DBG("tensor len %d.", tensor0_len);

    float absmax = 0.f;
    int i = 0;

    for(i = 0; i < tensor0_len + 1; i ++)
    {
        if(fabs(tensor0_dat[i]) > absmax)
            absmax = fabs(tensor0_dat[i]);
    }
    
    DBG("abs = %f.", absmax);

    int *histogram = malloc(bins * sizeof(int));
    float *histogram_norm = malloc(bins * sizeof(float));
    if(histogram == NULL || histogram_norm == NULL)
    {
        DBG("fatal error, malloc histogram failure.");
        exit(-1);
    }

    memset(histogram, 0x00, bins * sizeof(int));

    for(i = 0; i < tensor0_len; i ++)
    {
        if (tensor0_dat[i] == 0.f) continue;

        const int index = min((int)(fabs(tensor0_dat[i]) / absmax * bins), (bins - 1));
        histogram[index] += 1;
    }

    for(i = 0; i < bins; i ++)
    {
        DBG("histogram[%d] = %d.", i, histogram[i]);
    }

    //直方图归一化
    int sum = 0;

    for(i = 0; i < bins; i ++)
    {
        sum += histogram[i];
        histogram_norm[i] = 0.f;
    }

    for(i = 0; i < bins; i ++)
        histogram_norm[i] = (float)((float)histogram[i])/(float)sum;

    for(i = 0; i < bins; i ++)
    {
        DBG("histogram[%d] = %f.", i, histogram_norm[i]);
    }

    DBG("out");
    return 0;
}

运行：

3BINS：

 100BINS：

100BINS的数据可视化：

 和上面有所差异，原因可能是程序中绝对值的处理，将负值也作为正值处理了。为了验证，我们找到这批数据中的最小值，它是负的，我们将其加上一个偏移，正好变为0，这样所有的值都变为了正数，平移数据范围不会影响直方图的分布，所以我们就可以验证我们的猜测是否正确。

代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stddef.h>
#include <stdint.h>
#include <fcntl.h>
#include <unistd.h>
#include <math.h>
#include <sys/ioctl.h>
 
#define DBG(fmt, ...)   do { printf("%s line %d, "fmt"\n", __func__, __LINE__, ##__VA_ARGS__); } while (0)
#define min(x,y) ({ \
    typeof(x) _x = (x);    \
    typeof(y) _y = (y);    \
    (void) (&_x == &_y);    \
    _x < _y ? _x : _y; })
 
int get_tensor_from_txt_file(char *file_path, float **buf)
{
    int len = 0;
    static float *memory = NULL;
    static int max_len = 10 * 1024 * 1024;
    FILE *fp = NULL;
 
    if(memory == NULL)
    {
        memory = (float*) malloc(max_len * sizeof(float));
    }
    
    if((fp = fopen(file_path, "r")) == NULL)
    {
        DBG("open tensor error.");
        exit(-1);
    }
 
    while(!feof(fp))
    {
        fscanf(fp, "%f", &memory[len ++]);
    }
 
    *buf = (float*)malloc(len * sizeof(float));
    if(len == 0 || *buf == NULL)
    {
        DBG("read tensor error, len %d, *buf %p", len, *buf);
        exit(-1);
    }
    memcpy(*buf, memory, len * sizeof(float));
 
    fclose(fp);
 
    return len;
}
 
int main(int argc, char **argv)
{
    FILE *file;
 
    DBG("in");
 
    if(argc != 3)
    {
        DBG("input error, you should use this program like that: program tensor binsnum.");
        exit(-1);
    }
 
    int tensor0_len;
    float *tensor0_dat;
    int bins = atoi(argv[2]);
    
    tensor0_len = 0;
    tensor0_dat = NULL;
 
    tensor0_len = get_tensor_from_txt_file(argv[1], &tensor0_dat);
    DBG("tensor len %d.", tensor0_len);

    float absmax = 0.f;
    float min = 0.f;
    int i = 0;

    for(i = 0; i < tensor0_len + 1; i ++)
	{
        tensor0_dat[i] += 87.939552;
	}

    for(i = 0; i < tensor0_len + 1; i ++)
    {
        if(fabs(tensor0_dat[i]) > absmax)
            absmax = fabs(tensor0_dat[i]);

        if(tensor0_dat[i] < min)
            min = tensor0_dat[i];
    }
    
    DBG("abs = %f, min %f.", absmax, min);

    int *histogram = malloc(bins * sizeof(int));
    float *histogram_norm = malloc(bins * sizeof(float));
    if(histogram == NULL || histogram_norm == NULL)
    {
        DBG("fatal error, malloc histogram failure.");
        exit(-1);
    }

    memset(histogram, 0x00, bins * sizeof(int));

    for(i = 0; i < tensor0_len; i ++)
    {
        if (tensor0_dat[i] == 0.f) continue;

        const int index = min((int)(fabs(tensor0_dat[i]) / absmax * bins), (bins - 1));
        histogram[index] += 1;
    }

    for(i = 0; i < bins; i ++)
    {
        DBG("histogram[%d] = %d.", i, histogram[i]);
    }

    //直方图归一化
    int sum = 0;

    for(i = 0; i < bins; i ++)
    {
        sum += histogram[i];
        histogram_norm[i] = 0.f;
    }

    for(i = 0; i < bins; i ++)
        histogram_norm[i] = (float)((float)histogram[i])/(float)sum;

    for(i = 0; i < bins; i ++)
    {
        printf("%f\n", histogram_norm[i]);
    }

    DBG("out");
    return 0;
}

这次直方图曲线和本篇开头的直方图符合了：

数据可视化部分的PYTHON代码：

import numpy as np
import linecache
import matplotlib.pyplot as plt

filename = "output.tensor"
cols = 1 # number of column
divided_ch = ' ' # divided_character between numbers

def dat_to_matrix(filename):
    file = open(filename)
    lines = file.readlines()
    rows = len(lines)
    # print(rows)
    # print(lines)
    datamat = np.zeros(rows)
    row = 0

    for line in lines:
        line = line.strip().split(divided_ch) # strip remove block space in line
        datamat[row:] = line[:]
        row += 1

    return datamat


data = dat_to_matrix(filename)
# print(data)
X=np.linspace(0,1,100)      # X轴坐标数据
plt.figure(figsize=(8,6))   # 定义图的大小
plt.plot(X,data)            # 绘制曲线图
plt.show()

总结：

1.直方图平移后会被压缩，但是曲线的变化趋势不变，可以作计算导数的思想实验来验证这一点。

2.对于AI训练和推理来说，数据本身的分布形状比数据本身要重要的多.

当OFFSET过大的时候，以山峰高度为例，相当于我们选取的基础海平面太低，以至于无法体现地表山峰的高度趋势了，这个时候，计算的直方图会被压缩。如下图将OFFSET从87改为870

产生的直方图为,对比上图，可以看到图像形状没有变化，但是被压缩了。

证明很简单，设n>m>0.a > 0

\frac{m}{n} \ ?\ \frac{a+m}{a+n}

?应该是什么呢？先通分。

\\ \frac{m(a+n)}{n(a+n)} ? \frac{n(a+m)}{n(a+n)} \\ \because m(a+n)=ma+mn<na+mn=n(a+m) \\ \therefore \frac{m}{n} \ < \ \frac{a+m}{a+n}

总结：

很多时候，量化重要的一步是找出tensor的值域边界，得到每层tensor值的上下边界，在此基础上确定threhold。

参考博客：

使用NCNN的INT8量化方式进行推理_papaofdoudou的博客-CSDN博客_int8量化 ncnn

结束 

papaofdoudou
关注
专栏目录
直方图的c语言编程
03-17
数字图像处理中有关直方图的 c语言编程。
pytorch学习------TensorBoard的使用
最新发布
niulinbiao的博客
10-09 849
建好一个神经网络，其实我们也不知道神经网络里头具体细节到底做了什么，要人工调试十分困难(就好比你无法想象出递归的所有步骤一样)。有了，可以将TensorFlow程序的执行步骤都显示出来，非常直观。并且，我们可以对训练的参数(比如loss值)进行统计，用图的方式来查看变化的趋势。可以用于记录训练数据、评估数据、网络结构、图像等，并且可以在web上展示，对于观察神经网络的过程非常有帮助。PyTorch也推出了自己的可视化工具，一个是包，一个是，二者的使用相差不大，这里介绍后者。
C++简易Tensor实现
weixin_40011280的博客
08-04 1447
简易Tensor
深度学习中的Tensor 数据格式（N,C,H,W）
热门推荐
d_b_的博客
05-11 2万+
文章目录深度学习中的Tensor 数据格式（N,C,H,W）一、深度学习框架中的图像格式2、数据格式3、物理存储3.1、NCHW3.2、NHWC3.3、CHWN：StridesBlocked layout4、RGB图像数据举例5、不同框架的支持 深度学习中的Tensor 数据格式（N,C,H,W） 参考： 数据格式- 图解NCHW与NHWC数据格式 NCHW-NHWC-NC/32HW32 一、深度学习框架中的图像格式 4DTensor格式：使用4D张量描述符来定义具有4个字母的2D图像批处理的格式 数
tensorflow批量直方图快速计算
joey周琦
03-22 907
最近在实现DRRM, 计算直方图，官方的api, tf.histogram_fixed_width不支持批量的直方图计算 在网上搜了一些方法，https://stackoverflow.com/questions/41764199/row-wise-histogram/，但是运算速度都比较慢，我自己想了一种，根据连续值转整型的方法，来进行批量计算直方图。 tensor: 是输入的tensor n...
pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换
12-23
1, 创建pytorch 的Tensor张量： torch.rand((3,224,224)) #创建随机值的三维张量，大小为（3,224,224） torch.Tensor([3,2]) #创建张量，[3,2] 2, cpu上的tensor和GPU即pytorch创建的tensor的相互转化 b = a.cpu()...
Pytorch中Tensor与各种图像格式的相互转化详解
09-18
这个函数会将PIL图像转换为一个三通道的Tensor（即使原图不是三通道），并且会把像素值归一化到[0, 1]区间内。需要注意的是，归一化是将原始像素值范围[0, 255]线性变换到[0, 1]的过程。 转换代码示例（省略了...
tensorflow 重置/清除计算图的实现
12-23
为了可以在同一个线程或者交互式环境中（ipython/jupyter）重复调试计算图，就需要使用这个函数来重置计算图，随后修改计算图再次运行。 #重置计算图，清理当前定义节点 import tensorflow as tf tf.reset_default_...
TensorBoard 计算图的可视化实现
09-17
### TensorBoard 计算图的可视化实现 #### 简介 TensorBoard 是 TensorFlow 提供的一个功能强大的可视化工具，能够帮助开发者和研究人员更好地理解和优化神经网络模型。通过TensorBoard，用户可以直观地查看模型的...
tensorflow 实现自定义layer并添加到计算图中
12-20
本文将详细讲解如何在TensorFlow中实现自定义layer，并将其整合到计算图中，以处理2D图像的滑动窗口平均操作。 首先，我们要了解在TensorFlow中创建自定义层的基本步骤： 1. **定义输入**: 在示例代码中，我们创建...
计算图，动态图与静态图
12-22
计算图   计算图是用来描述运算的有向无环图。计算图有两个主要元素：结点（Node） 和边（Edge）。结点表示数据，如向量，矩阵，张量；边表示运算，如加减乘除卷积等。 用计算图表示 y = ( x + w) * ( w + 1 ) 　...
support-tensor-machine:尝试实现算法“支持张量机”
05-11
支持张量机是一种基于张量理论的机器学习算法，它扩展了传统的支持向量机（SVM）概念，以处理高维数据和复杂结构的数据。本文将深入探讨支持张量机的基本原理、实现方法以及其在实际应用中的优势。 ### 一、支持...
pytorch 改变tensor尺寸的实现
12-23
改变Tensor尺寸的操作 1.tensor.view tensor.view方法，可以调整tensor的形状，但必须保证调整前后元素总数一致。...In： b = a.view(-1, 3)#当某一维为-1的时候，会自动计算它的大小 Out：tensor([[0, 1, 2],
PyTorch中Tensor的维度变换实现
09-18
张量变形是通过`torch.Tensor.view(*args)`来实现的，它可以让我们改变Tensor的形状而不改变其元素。`view()`函数要求新形状的元素总数必须与原始Tensor相同。例如，我们有一个2x9的Tensor `x`，通过`x.view(3, 6)`...
Matrix completion & Tensor completion经典算法OptSpace & TenALS C & Matlab 源码实现
06-09
OptSpace_C.zip包含了OptSpace算法的C语言实现，这使得算法能够在内存有限的环境中高效运行，尤其适合处理大规模矩阵。 Matlab则提供了一个强大的矩阵运算环境，对于快速原型开发和算法验证非常便捷。TenALS_Matlab...
Tensorboard（1） 标量与直方图可视化
洪流之源
09-22 498
Tensorboard 标量与直方图可视化
张量统计的方法
qq_37464479的博客
02-27 381
百分位数是指将张量中的元素值按从小到大排序后，按照一定的百分比取值的数值。例如，第50个百分位数是指在张量中，有50%的元素值小于或等于该数值，50%的元素值大于或等于该数值。：平均值是指张量中所有元素的和除以元素的总数，标准差是指张量元素值与平均值之间的偏差。：直方图是指将张量中的元素值分成若干个区间，统计每个区间内的元素数量并绘制成柱状图的方法。：回归分析是指将一个张量作为因变量，另一个张量作为自变量，建立回归模型并进行分析的方法。：最小值是指张量中最小的元素值，最大值是指张量中最大的元素值。
【Pytorch】Tensorboard用法：标量曲线图、直方图、模型结构图
zoetu
07-20 2033
TensorBoard就是一个功能极为强大的机器学习实时检测并可视化的工具。它可以实时跟踪并可视化loss、acc等标量，可以使用直方图、分布图来展示权重和梯度分布的变化，也可以展示出模型的架构图，还可以将将嵌入向量投影到较低维度的空间从而可视化等等。......
Tensor的数据统计
Mrweng1996的博客
11-22 1328
针对tensorflow2.0 （1）tf.norm函数：求取范数 求取一范数： In [3]: a = tf.ones([2,2]) In [4]: tf.norm(a,ord = 1) Out[4]: <tf.Tensor: id=9, shape=(), dtype=float32, numpy=4.0> In [5]: tf.norm(a,ord = 1,axis=...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

papaofdoudou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值