qtableiwdget优化之再优化（大批量数据加载不卡顿）

最新推荐文章于 2024-03-25 17:45:20 发布
最新推荐文章于 2024-03-25 17:45:20 发布
阅读量1.2k 收藏 21
点赞数 2
分类专栏： Qt 文章标签： qt 内存优化 qt5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43676892/article/details/115528710
版权
这篇博客介绍了如何优化QTableWidget以处理大数据，通过自定义滚动条实现分页加载，减少内存占用。作者提到虽然读取大数据文件会导致内存增加，但未使用内存映射技术。文章提供了自定义ScrollBar和TableWidget的代码实现，通过滚动条信号触发数据的加载和卸载，从而在滑动时保持内存稳定。测试数据显示，处理70万行数据约占用200MB内存。
摘要由CSDN通过智能技术生成

前面已经写过2篇关于qtableiwdget的优化的内容了，有感兴趣的可以访问我的主页进行查看，但前面写的或多或少都存在一些问题。
这次写的相对于前面2次优化性能有所提升，并且功能更完善，但有一个问题始终无法避免，就是你把你的大数据文件读入内存中，内存是肯定会增大的。当然，你可以使用qt的内存映射来解决此问题，本篇文章，博主并没有使用内存映射。顺便简介下，内存映射就是把你的硬盘当做内存。
话不多说，直接看代码吧：
自定义scrollbar
scrollbar.h:

#ifndef SCROLLBAR_H
#define SCROLLBAR_H

#include <QWidget>
#include <qscrollbar.h>

class ScrollBar : public QScrollBar
{
    Q_OBJECT
public:
    explicit ScrollBar(QWidget *parent = nullptr);

protected:
    void mouseReleaseEvent(QMouseEvent *e);

signals:
    void sSendValue(float);

public slots:
    void onValueChanged(int i_value);

private:
    float m_Value;
};

#endif // SCROLLBAR_H


scrollbar.cpp

#include "scrollbar.h"

ScrollBar::ScrollBar(QWidget *parent) : QScrollBar(parent)
{
    this->setOrientation(Qt::Vertical);
    connect(this,&QScrollBar::valueChanged,this,&ScrollBar::onValueChanged);
}
void ScrollBar::mouseReleaseEvent(QMouseEvent *e)
{
    emit sSendValue(m_Value);
}

void ScrollBar::onValueChanged(int i_value)
{
    m_Value=float(i_value)/float(this->maximum()); //比例
}

自定义tablewidget：
tablewidget.h

#ifndef TABLEWIDGET_H
#define TABLEWIDGET_H

#include <QWidget>
#include <QTableWidget>
#include "scrollbar.h"

static const char* DefQSReceiverInfoTableSize[20][3] =
{
    {"ID" , "130", "0"},
    {"Line" , "110", "0"},
    {"Point" , "110", "0"},
    {"Index" , "60", "0"},
    {"Type" , "60", "0"},
    {"X" , "120", "0"},
    {"Y" , "120", "0"},
    {"Z" , "120", "0"},
    {"Lat.-084" , "180", "0"},
    {"Long.-084" , "180", "0"},
    {"Elav.-84" , "180", "0"},
    {"Status" , "100", "0"},
    {"Point Depth" , "120", "0"},
    {"Water Depth" , "120", "0"},
    {"Seis Datum" , "150", "0"},
    {" " , "150", "0"},
    {" " , "150", "0"},
    {" " , "150", "0"},
    {" " , "150", "0"}
};

class TableWidget : public QTableWidget
{
    Q_OBJECT
public:
    explicit TableWidget(QWidget *parent = nullptr);
    ~TableWidget();

    void CreateFirstData();

    void ClearAllRow();

    void DownLoadData();
    void UpLoadData();

protected:
    void wheelEvent(QWheelEvent *event);

signals:

public slots:
    void onValueChanged(float i_value);
private:
     QList<QByteArray> m_strList;
     QList<QByteArray> m_strFirstList;

     int m_CurrentRow=0;

     int m_Size=0;

     ScrollBar *m_pScrollBar=nullptr;
};

#endif // TABLEWIDGET_H

tablewidget.cpp

#include "tablewidget.h"
#include <QFile>
#include <qdebug.h>
#include <QScrollBar>
#include <QWheelEvent>

TableWidget::TableWidget(QWidget *parent) : QTableWidget(parent)
{
    this->setColumnCount(15);
    QStringList headerList;
    for(int i=0;i<15;i++)
    {
        headerList.append(QString::fromLocal8Bit(DefQSReceiverInfoTableSize[i][0]));
    }
    this->setHorizontalHeaderLabels(headerList);

    m_pScrollBar=new ScrollBar(this);
    this->setVerticalScrollBar(m_pScrollBar);

    connect(m_pScrollBar,&ScrollBar::sSendValue,this,&TableWidget::onValueChanged);

    QFile file("C:/Users/dujia/Desktop/aaa.txt");
    if (!file.open(QIODevice::ReadOnly | QIODevice::Text))
        return;

    while (!file.atEnd()) {
        QByteArray line = file.readLine();
        m_strList.append(line);
        if(m_strList.size()==500)
        {
            m_strFirstList=m_strList;
            m_Size=m_strFirstList.size();
            CreateFirstData();
        }
    }

    qDebug()<<"scrollbar::"<<this->verticalScrollBar()->maximum();
}

TableWidget::~TableWidget()
{

}

void TableWidget::CreateFirstData()
{
    if(m_strFirstList.size()!=0)
    {
        this->setRowCount(m_strFirstList.size());
        for(int i=0;i<m_strFirstList.size();i++)
        {
            QString str=m_strFirstList[i];
            QStringList strList=str.split("&");
            this->setItem(i,0,new QTableWidgetItem(strList[0]));
            this->setItem(i,1,new QTableWidgetItem(strList[1]));
            this->setItem(i,2,new QTableWidgetItem(strList[2]));
            this->setItem(i,3,new QTableWidgetItem(strList[3]));
            this->setItem(i,4,new QTableWidgetItem(strList[4]));
            this->setItem(i,5,new QTableWidgetItem(strList[5]));
            this->setItem(i,6,new QTableWidgetItem(strList[6]));
            this->setItem(i,7,new QTableWidgetItem(strList[7]));
            this->setItem(i,8,new QTableWidgetItem(strList[8]));
            this->setItem(i,9,new QTableWidgetItem(strList[9]));
            this->setItem(i,10,new QTableWidgetItem(strList[10]));
        }
    }


}

void TableWidget::ClearAllRow()
{
    for(int i=this->rowCount();i>=0;i--)
    {
        this->removeRow(i);
    }
}

void TableWidget::DownLoadData()
{
    this->setRowCount(500);
    int K=0;
    for(int i=m_CurrentRow;i<m_CurrentRow+500;i++)
    {
        QString str=m_strList[i];
        QStringList strList=str.split("&");
        this->setItem(K,0,new QTableWidgetItem(strList[0]));
        this->setItem(K,1,new QTableWidgetItem(strList[1]));
        this->setItem(K,2,new QTableWidgetItem(strList[2]));
        this->setItem(K,3,new QTableWidgetItem(strList[3]));
        this->setItem(K,4,new QTableWidgetItem(strList[4]));
        this->setItem(K,5,new QTableWidgetItem(strList[5]));
        this->setItem(K,6,new QTableWidgetItem(strList[6]));
        this->setItem(K,7,new QTableWidgetItem(strList[7]));
        this->setItem(K,8,new QTableWidgetItem(strList[8]));
        this->setItem(K,9,new QTableWidgetItem(strList[9]));
        this->setItem(K,10,new QTableWidgetItem(strList[10]));
        K=K+1;
    }
}

void TableWidget::UpLoadData()
{
    this->setRowCount(500);
    int K=0;
    for(int i=m_CurrentRow;i<m_CurrentRow+500;i++)
    {
        QString str=m_strList[i];
        QStringList strList=str.split("&");
        this->setItem(K,0,new QTableWidgetItem(strList[0]));
        this->setItem(K,1,new QTableWidgetItem(strList[1]));
        this->setItem(K,2,new QTableWidgetItem(strList[2]));
        this->setItem(K,3,new QTableWidgetItem(strList[3]));
        this->setItem(K,4,new QTableWidgetItem(strList[4]));
        this->setItem(K,5,new QTableWidgetItem(strList[5]));
        this->setItem(K,6,new QTableWidgetItem(strList[6]));
        this->setItem(K,7,new QTableWidgetItem(strList[7]));
        this->setItem(K,8,new QTableWidgetItem(strList[8]));
        this->setItem(K,9,new QTableWidgetItem(strList[9]));
        this->setItem(K,10,new QTableWidgetItem(strList[10]));
        K=K+1;
    }
}

void TableWidget::wheelEvent(QWheelEvent *event)
{
    int delta= event->delta();
    if(delta>0)
    {
        if(m_CurrentRow!=0)
        {
            ClearAllRow();
            m_CurrentRow=m_CurrentRow-5;

            UpLoadData();

            float Value=float(m_CurrentRow)/float(m_strList.size());
            float currentValue=Value*this->verticalScrollBar()->maximum();
            this->verticalScrollBar()->setValue(currentValue);

        }
    }
    else
    {
        if(m_CurrentRow<m_strList.size()-500)
        {
            m_CurrentRow=m_CurrentRow+5;

            ClearAllRow();

            DownLoadData();

            float Value=float(m_CurrentRow)/float(m_strList.size());
            float currentValue=Value*this->verticalScrollBar()->maximum();
            this->verticalScrollBar()->setValue(currentValue);
        }
    }
}

void TableWidget::onValueChanged(float i_value)
{
    m_CurrentRow=i_value*(m_strList.size()-500);

    ClearAllRow();
    int K=0;
    this->setRowCount(500);
    for(int i=m_CurrentRow;i<m_CurrentRow+500;i++)
    {
        QString str=m_strList[i];
        QStringList strList=str.split("&");
        this->setItem(K,0,new QTableWidgetItem(strList[0]));
        this->setItem(K,1,new QTableWidgetItem(strList[1]));
        this->setItem(K,2,new QTableWidgetItem(strList[2]));
        this->setItem(K,3,new QTableWidgetItem(strList[3]));
        this->setItem(K,4,new QTableWidgetItem(strList[4]));
        this->setItem(K,5,new QTableWidgetItem(strList[5]));
        this->setItem(K,6,new QTableWidgetItem(strList[6]));
        this->setItem(K,7,new QTableWidgetItem(strList[7]));
        this->setItem(K,8,new QTableWidgetItem(strList[8]));
        this->setItem(K,9,new QTableWidgetItem(strList[9]));
        this->setItem(K,10,new QTableWidgetItem(strList[10]));
        K=K+1;
    }
}

widget.h

#ifndef WIDGET_H
#define WIDGET_H

#include <QWidget>
#include "tablewidget.h"



class Widget : public QWidget
{
    Q_OBJECT

public:
    Widget(QWidget *parent = nullptr);
    ~Widget();

private:


    TableWidget *m_pTableWgt=nullptr;
};
#endif // WIDGET_H

widget.cpp

#include "widget.h"
#include <QFile>
#include <qdebug.h>
#include <QVBoxLayout>


Widget::Widget(QWidget *parent)
    : QWidget(parent)
{
    this->resize(800,500);

    m_pTableWgt=new TableWidget(this);
    QVBoxLayout *mainLayout=new QVBoxLayout(this);
    mainLayout->addWidget(m_pTableWgt);
    mainLayout->setMargin(0);
    this->setLayout(mainLayout);


}

Widget::~Widget()
{
}

我测试的数据是70万行左右的数据，会吃掉200mb左右的内存。这个应该是正常的。文件大小80mb。通过文本文件打开，大概180mb左右
在这里插入图片描述
在滑动的时候，内存是不会改变的。

我给出我tablewidget的格式，然后复制到记事本，复制粘贴就行。

1512058602&   2884.00&  12010.00  &1&G1& 644347.8& 4229422.2&3123.7&38 12 04.281 N&076 38 54.825 E&3123.70&    &    &&
1512058603&   2884.00&  12011.00  &1&G1& 644357.8& 4229439.4&3123.8&38 12 04.833 N&076 38 55.249 E&3123.80&    &    &&
1512058604&   2884.00&  12012.00  &1&G1& 644367.7& 4229456.9&3123.1&38 12 05.395 N&076 38 55.669 E&3123.10&    &    &&
1512058605&   2884.00&  12013.00  &1&G1& 644377.8& 4229474.1&3124.3&38 12 05.947 N&076 38 56.096 E&3124.30&    &    &&
1512058606&   2884.00&  12014.00  &1&G1& 644387.7& 4229491.4&3125.6&38 12 06.502 N&076 38 56.516 E&3125.60&    &    &&
1512058607&   2884.00&  12015.00  &1&G1& 644397.7& 4229508.8&3125.3&38 12 07.061 N&076 38 56.940 E&3125.30&    &    &&
1512058608&   2884.00&  12016.00  &1&G1& 644407.7& 4229526.0&3125.4&38 12 07.613 N&076 38 57.363 E&3125.40&    &    &&
1512058609&   2884.00&  12017.00  &1&G1& 644417.7& 4229543.4&3125.7&38 12 08.171 N&076 38 57.787 E&3125.70&    &    &&

ヾ(￣▽￣)ByeBye

加油小杜(接qt定制功能，单模块开发等)
关注
  • 2
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
qt 中如何向QTableWidget里大量添加数据？
遇见--专栏
07-13 2万+
实验说明：通过一个按钮，选择一张图片，将图片添加到表格里，并且添加1000条该数据
Android 优化之卡顿优化的实现
08-27
"Android 卡顿优化之实现" Android 优化之卡顿优化的实现主要介绍了 Android 优化之卡顿优化的实现。卡顿优化是 Android 优化的一个重要方面，主要是解决 Android 应用程序在运行时出现的卡顿问题。 了解卡顿的...
QtableWidget插入数据卡顿优化方法
baochunlei1的博客
04-16 1966
pIterm->setCheckState(Qt::Unchecked)）自带的checkbox功能后，用统一的QTableWidgetItem去写数据，不用自定义的widget去设置，速度会很快，4000多条数据1秒之后就加载完成，非常快。//隐藏和排序同时使用时会导致错乱，Qtablewidget->setRowHidden()将无效该隐藏的行没有隐藏；//隐藏和排序同时使用时会导致错乱，Qtablewidget->setRowHidden()将无效该隐藏的行没有隐藏；//第0行是复选框，从1开始。
在QTableWidget中显示大数据量
02-07
在访问数据库后，在本地得到包含了数据的集合，然后获取数据总量；之后tableWidget的滑动条的滑动长度可以定义成 tableWidget的每行row的宽度 * 数据总量；再运动滑动条以定位到应显示的部分的第一个的行在tableWidget中的索引；以此索引可以定位到内存中的数据集对应的当前应被提取的第一个数据的索引；由于tableWidget的height是知道的，那么该显示的个数应也是可知的，即数据集该提取的长度也是可知的；只取这部分数据显示到tableWidget中。
QTableView加载大量数据和控件 不卡顿浏览
最新发布
燃犀的博客
03-25 880
在表格里面动态维护一定的行数。举个例子，假如你的QTableView控件的高度是600，每一行的高度是30，那么你就可以固定维护20行数据，这样就只需要维护少量的数据，在你滑动滑块的时候，去改变这20行里面的数据。步骤1：动态获取QTableView的高度，由高度去计算你要维护表格有多少行。步骤2：修改滑块的槽函数，每一次滑动的时候，根据滑动的值去修改表格里面的数据。
pyqt5 多线程实时拉流并播放，画面流畅无卡顿
qq_30841655的博客
03-01 2613
用全局队列会导致延时严重，因此更换为全局栈，同时，在线程2从全局栈中获得最新视频帧后，需要对全局栈进行清空处理，确保线程2每次获取的都是最新的图片帧。，该博客主要采用两个线程，线程1用来拉流并解码，线程2用来对图片做处理，处理后在主线程的qlabel()上显示。线程1与线程2之间用全局队列来交换图片帧。需要用pyqt5做一个简单播放器，能够连接单位摄像头，用rtsp拉流并实时展示。很多博客方法都试过，或者卡顿，或者时延较大，无法满足需求。
qtablewidget解决加载百万条数据卡顿（不会存在内存溢出，界面也不会卡顿）动态加载
家俊的博客
03-24 9286
其实前面使用多线程进行写过一个动态加载，原先我自己以为没问题，但是后面看了下任务管理器，100万条数据后台加载到5个g还在激增。这样下去当内存超出一定范围，就会宕机，后来查看代码就发现这个机制是一直向你的表格中一直插入，并不会释放掉。后来，经过几天的沉淀，网上大部分说使用tableview以及自定model，效率比qtablewidget效率高。其实自定义的model无非就是后台处理数据，我给qtablewidget单独开出一条线程，也不会有任何卡顿。 下面来说下简易思路，然后配合代码细讲。 简单的思路：比
Android中RecyclerView 滑动时图片加载的优化
08-30
然而，当列表中包含大量的图片时，不恰当的图片加载策略可能会导致滑动时出现卡顿现象，影响用户体验。针对这一问题，本文将深入探讨如何优化RecyclerView在滑动时的图片加载，确保流畅的滚动体验。 首先，我们要...
RunLoop优化tableView加载大量图片卡顿问题
02-10
"RunLoop优化tableView加载大量图片卡顿问题"这一主题主要探讨如何利用RunLoop机制来改善这种状况，以实现流畅的滚动效果。 RunLoop是Objective-C中的一个核心概念，它是一个对象，用于管理线程的执行循环，保证...
spine 加载多个相同动画优化
11-25
综上所述，通过升级Spine版本、优化资源加载策略、改进动画处理代码，开发者成功地解决了在Cocos2d-x中加载大量相同动画时的卡顿问题，实现了200个相同动画瞬间加载且不卡帧的目标。这对于提高游戏体验和用户满意度...
QTableView大数据源码
07-07
QTableView大数据源码显示，可一次显示超过100万数据而不卡
QTableWidget实现大数据分页快速显示.zip
04-12
QTableWidget实现大数据分页快速显示，不卡顿，主要是只new出一页的item，所以耗资源少，然后新数据再来的话就是将所有item内容赋空，然后再将新数据按照坐标放进去。
qt快速加载并动态显示大容量数据能够加载千万行量级的数据
03-21
本工程介绍了如何使用QT的tablewideget快速加载大容量的数据，快速加载千万行文本并且动态显示出来，同时介绍了如何根据鼠标事件而显示不同内容
QTableWidget加载大量数据不卡顿
Sweet的博客
02-05 5787
QTableWidget卡顿
QTableWidget 分批查询数据库显示
st_spring的博客
11-08 1546
如果数据库的数据很多，一次性查询显示，会卡住界面，可以分批查询显示，当滑动条向下滚动时再继续查询加载。 获取滚动条：pVScrollBar = tableWidget-&gt;verticalScrollBar(); 滚动条的信号：valueChanged 和 rangeChanged int iSearchIndex = 0;//记录每次查询开始的下标,如每次查询20条记录,第一次iSe...
qt之解决qtableview加载百万行数据卡顿问题
家俊的博客
03-13 8860
我们在使用qtableview的时候，加载100行的数据，你不会感到有任何卡顿，但是加载百万行的数据，你会感到界面已经卡死，我们来看下效果： 这是我需要加载的一个文件，我们看，共有100万行左右的数据，我们来看下没有优化的写法，及运行时候的效果： 代码： m_pTestView = new EP_TableView(this); QStandardItemModel *model = new QStandardItemModel(); m_pTestView->setModel(model); Q
Pyqt qtableview 大量动态刷新数据
lk1991525的专栏
09-30 2533
最近做了一个表格，需要动态的插入和刷新 开始使用 model.setItem添加数据，但是效率很低，程序总会卡住，查源码发现 源码中setChild会触发dataChanged，导致效率很低。 查阅源码发现model.setData不会触发dataChanged，替换代码后程序不再卡顿 替换后代码： index = self.model.index(row, col) self.model.setData(index, "data", QtCore.Qt.DisplayRole) .
pyqt5-QTableWidget大量数据动态刷新超级耗cpu问题
meiaoxue1234的博客
10-13 1024
【代码】pyqt5-QTableWidget大量数据动态刷新超级耗cpu问题。
Pyqtgraph 解决数据量太多卡顿问题
CxzKkgg的博客
03-28 2310
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言（整个工程在最后）解决方案问题原因实时检测x,y区间代码如下所示绘制取点区间代码当我们实现以上发现，当我们查看整个视图时，任然会出现卡顿，这是我做了 间隔取点处理，保证我们整个视角中 只需要绘制N个点，这里我使用了一个Spinbox；可以更加优化，当我在间隔取点时，容易造成某些极值点的丢失，可能会出现一写视觉上的误差，对数据本身没太大影响！（放大一样能看到）代码在此，请下载后不要忘了点个赞！ 前言（整个工程在最后） 提示：这.
MPAndroidChart折线图大量数据时卡顿优化
05-25
当 MPAndroidChart 折线图显示大量数据时，可能会导致卡顿的问题。以下是几种优化方式： 1. 减少数据点的数量：如果数据点数量很多，可以尝试减少它们的数量。可以考虑缩小图表的显示范围，只显示一部分数据，或者...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

加油小杜(接qt定制功能，单模块开发等)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值