nn1997729的博客

一、基于线程的优化方法1.选取合适的gridDim和blockDimblockDim最好为32的整数倍：因为执行指令的基本单位为线程束，线程束内的所有线程统一执行广播下来的命令，而线程束的线程数量基本为32。当block被分到SM中去，其会被划分为多个线程束，若blockDim!=线程束内线程数整数倍，则会造成线程的浪费。2.减少存在分支的if因为线程束中的所有线程执行同一条的指令，若出现存在出现分支的if，即线程束内的部分线程符合if条件，部分符合else条件，因cuda编译不具备分支预测能力，则

tmux new -s cqy0112tmux actrl +b d关闭

darknet make时出现nvcc: not found是因为找不到cuda路径，需要打开makefile，将NVCC=nvcc修改为：NVCC=/usr/local/cuda-xx.x/bin/nvcc，即可解决问题

序列化Engine// serialize the engine, then close everything downconst std::string engine_file{ "tensorrt_mnist.trt" };nvinfer1::IHostMemory* gieModelStream = mEngine->serialize(); // GIE modelfprintf(stdout, "allocate memory size: %d bytes\n", gieModelS

Tensor RT C++ 使用总体流程提供包含权重和网络结构的文件，如.onnx，相当于构建生产流水线所需的参数图纸Creating a TensorRT network definition from your model盖一个工厂（builder），放置生产流水线（engine）用来生产，流水线是加速网络，原料是输入，生产出结果Invoking the TensorRT builder to create an optimized runtime engine from the networ

https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-zipTensor RT官方安装手册