神荼978-CSDN博客

原创 ORIN NX 16G + ubuntu22.04 环境安装及模型部署

TensorRT Edge-LLM 是 NVIDIA 在嵌入式平台上为 LLM 和 VLM 提供高性能的 C++ 推理运行时。定量(INT4、NVFP4、FP8)可减少重量占用,使大型型号在受内存约束的设备上保持实用性。Edge-LLM 支持从 Orin Nano 到 Thor 等整个 Jetson 系列的多种 LLM 和 VLM 系统。安装。

2026-07-03 11:09:49 320

原创 direct_visual_lidar_calib环境部署及应用

该项目里提供了ros1和ros2的数据读取，但由于 ROS2-ROS1 包转换问题，示例 ROS1 包文件中的 CameraInfo 消息显示的 MD5 校验和与标准 sensor_msgs/CameraInfo 消息的校验和不同。分析：在iridescence/cmake/FindIridescence.cmake中LIBRARIES重命名，由于最开始安装的库是直接从githu网页上下载的，没有经历子模块初始化，导致找不到对应的gl_imgui_lib.此处使用的是官方给出的livox_ros1数据。

2024-07-27 16:49:05 4105 17

原创 Autoware不同版本的学习及标定工具的使用

由于该工具直接将图像和 .pcd 文件作为输入，因此除了 ROS 之外，还有其他选择来记录数据。确保两个传感器完全检测到棋盘有效数据对越多，批量优化性能越好（5~10对）记住棋盘相对于传感器的大致位置，调整参数“filter_x”/“filter_y”

2024-04-28 17:18:43 5559 5

.cache/huggingface/datasets （.arrow格式的cnn‑dailymail dataset）

2026-09-10

经过初始化后的TensorRT-Edge-LLM-v0.8.0

2026-09-09

jetson平台上锁定GPU频率前后模型性能对比

2026-08-17

mobilenetv2 在Orin上的推理流程

2026-08-13

trex-100llm+900visual

Qwen3-2B-VL-Instruct prefill tokens=100llm+900vision 的 trex性能可视化

2026-07-13

trex-tokens500

Qwen3-2B-VL-Instruct prefill tokens=500 的 trex性能可视化

2026-07-13

NCU 中 Decode Attention Kernel 的指标

2026-07-06

ncu-llm-inference-profile.ncu-rep

sudo -E /opt/nvidia/nsight-compute/2024.3.1/ncu --launch-skip 1500 --launch-count 20 --set detailed -o ncu_llm_inference_profile -f ./build/examples/llm/llm_inference --engineDir $WORKSPACE_DIR/$MODEL_NAME/engines/llm --multimodalEngineDir $WORKSPACE_DIR/$MODEL_NAME/engines/visual --inputFile $WORKSPACE_DIR/vlm_test/input_vlm.json --outputFile $WORKSPACE_DIR/vlm_test/output_vlm.json

2026-07-06

tensorrt 性能可视化

Qwen3-VL-2B-Instruct 的性能可视化

2026-07-03

Qwen3-VL-2B-Instruct 的 llm-inference-profile.nsys-rep sudo版 -E

sudo -E nsys profile --trace=cuda,nvtx,osrt --gpu-metrics-device=0 --output=llm_inference_profile --force-overwrite=true ./build/examples/llm/llm_inference --engineDir $WORKSPACE_DIR/$MODEL_NAME/engines/llm --multimodalEngineDir $WORKSPACE_DIR/$MODEL_NAME/engines/visual --inputFile $WORKSPACE_DIR/vlm_test/input_vlm.json --outputFile $WORKSPACE_DIR/vlm_test/output_vlm.json

2026-07-03