在rv1106上使用ov2685摄像头

已于 2024-04-25 16:27:43 修改
阅读量1.6k 收藏 38
点赞数 24
分类专栏： 显示屏 文章标签： 嵌入式 linux 图像处理
于 2024-04-25 16:21:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengli1995/article/details/138192557
版权

本篇文档中所使用的芯片是瑞芯微的RV1106G2, 使用的SDK 是由LUCKFOX所提供

SDK环境搭建

SDK环境搭建教程

由于官方提供的摄像头是SC3336 3MP Camera (A)，这个摄像头并不是一个全景摄像头，刚好手上有一个OV2685的摄像头，所以开始尝试驱动OV2685，第一次在linux玩摄像头，所以记录一下过程和问题

linux驱动

​ 一般来说linux系统源码中集成了很多的摄像头的驱动，拿luckfox的sdk来说，其所在的位置是:

luckfox-pico/sysdrv/source/kernel/drivers/media/i2c/ov2685.c

在这里插入图片描述

由于使用I2C作为控制接口，所以在I2C目录下，如果你的摄像头没有对应的驱动文件，那么就要根据摄像头的数据手册按照驱动文件的格式添加驱动

menuconfig

在知道有驱动文件后，那么只需要在内核配置里面打开,具体的配置方法luckFox教程里面有，这里只说一下要配置的一些东西，在ov2685.c的同级目录下有一个Kconfig的文件，告诉了每种摄像头需要的一些依赖，下面是ov2685的

config VIDEO_OV2685
	tristate "OmniVision OV2685 sensor support"
	depends on VIDEO_V4L2 && I2C
	select MEDIA_CONTROLLER
	select V4L2_FWNODE
	help
	  This is a Video4Linux2 sensor driver for the OmniVision
	  OV2685 camera.

	  To compile this driver as a module, choose M here: the
	  module will be called ov2685.

可以知道要打开的有OmniVision OV2685 VIDEO_V4L2 I2C MEDIA_CONTROLLER V4L2_FWNODE,依次找到使能即可，打开之后再重新编译内核，就可以得到ov2685.ko文件

有了.ko后，就可以使用insmod 加载，但在这之前要在设备数据添加节点

配置设备树

​

&csi2_dphy_hw {
	status = "okay";
};

&csi2_dphy0 {
	status = "okay";

	ports {
		#address-cells = <1>;
		#size-cells = <0>;

		port@0 {
			reg = <0>;
			#address-cells = <1>;
			#size-cells = <0>;

			csi_dphy_input0: endpoint@0 {
				reg = <0>;
				remote-endpoint = <&sc3336_out>;
				data-lanes = <1 2>;
			};

			csi_dphy_input1: endpoint@1 {
				reg = <1>;
				remote-endpoint = <&sc4336_out>;
				data-lanes = <1 2>;
			};

			csi_dphy_input2: endpoint@2 {
				reg = <2>;
				remote-endpoint = <&ov2685_out>;
				data-lanes = <1>;
			};
		};

		port@1 {
			reg = <1>;
			#address-cells = <1>;
			#size-cells = <0>;

			csi_dphy_output: endpoint@0 {
				reg = <0>;
				remote-endpoint = <&mipi_csi2_input>;
			};
		};
	};
};

&i2c4 {
	status = "okay";
	clock-frequency = <400000>;
	pinctrl-names = "default";
	pinctrl-0 = <&i2c4m2_xfer>;

	sc3336: sc3336@30 {
		compatible = "smartsens,sc3336";
		status = "okay";
		reg = <0x30>;
		clocks = <&cru MCLK_REF_MIPI0>;
		clock-names = "xvclk";
		pwdn-gpios = <&gpio3 RK_PC5 GPIO_ACTIVE_HIGH>;
		pinctrl-names = "default";
		pinctrl-0 = <&mipi_refclk_out0>;
		rockchip,camera-module-index = <0>;
		rockchip,camera-module-facing = "back";
		rockchip,camera-module-name = "CMK-OT2119-PC1";
		rockchip,camera-module-lens-name = "30IRC-F16";
		port {
			sc3336_out: endpoint {
				remote-endpoint = <&csi_dphy_input0>;
				data-lanes = <1 2>;
			};
		};
	};

	sc4336: sc4336@30 {
		compatible = "smartsens,sc4336";
		status = "okay";
		reg = <0x30>;
		clocks = <&cru MCLK_REF_MIPI0>;
		clock-names = "xvclk";
		pwdn-gpios = <&gpio3 RK_PC5 GPIO_ACTIVE_HIGH>;
		pinctrl-names = "default";
		pinctrl-0 = <&mipi_refclk_out0>;
		rockchip,camera-module-index = <0>;
		rockchip,camera-module-facing = "back";
		rockchip,camera-module-name = "OT01";
		rockchip,camera-module-lens-name = "40IRC_F16";
		port {
			sc4336_out: endpoint {
				remote-endpoint = <&csi_dphy_input1>;
				data-lanes = <1 2>;
			};
		};
	};
	ov2685: camera-sensor@3c {
		compatible = "ovti,ov2685";
		reg = <0x3c>;
		pinctrl-names = "default";
		pinctrl-0 = <&mipi_refclk_out0>;

		clocks = <&cru MCLK_REF_MIPI0>;
		clock-names = "xvclk";
		reset-gpios = <&gpio3 RK_PC5 GPIO_ACTIVE_LOW>;
        rockchip,camera-module-index = <1>;
        rockchip,camera-module-facing = "back";
        rockchip,camera-module-name = "YT-RV1106-2-V1";
		port {
			ov2685_out: endpoint {
				remote-endpoint = <&csi_dphy_input2>;
				data-lanes = <1>;
			};
		};
	};
};





&i2s0_8ch {
	#sound-dai-cells = <0>;
	status = "okay";
};

&mipi0_csi2 {
	status = "okay";

	ports {
		#address-cells = <1>;
		#size-cells = <0>;

		port@0 {
			reg = <0>;
			#address-cells = <1>;
			#size-cells = <0>;

			mipi_csi2_input: endpoint@1 {
				reg = <1>;
				remote-endpoint = <&csi_dphy_output>;
			};
		};

		port@1 {
			reg = <1>;
			#address-cells = <1>;
			#size-cells = <0>;

			mipi_csi2_output: endpoint@0 {
				reg = <0>;
				remote-endpoint = <&cif_mipi_in>;
			};
		};
	};
};

&rkcif {
	status = "okay";
};

&rkcif_mipi_lvds {
	status = "okay";

	pinctrl-names = "default";
	pinctrl-0 = <&mipi_pins>;
	port {
		/* MIPI CSI-2 endpoint */
		cif_mipi_in: endpoint {
			remote-endpoint = <&mipi_csi2_output>;
		};
	};
};

&rkcif_mipi_lvds_sditf {
	status = "okay";

	port {
		/* MIPI CSI-2 endpoint */
		mipi_lvds_sditf: endpoint {
			remote-endpoint = <&isp_in>;
		};
	};
};

&rkisp {
	status = "okay";
};

&rkisp_vir0 {
	status = "okay";

	port@0 {
		isp_in: endpoint {
			remote-endpoint = <&mipi_lvds_sditf>;
		};
	};
};

以上是实际设备树的一部分

数据从摄像头到实际图像需要经过的步骤

[摄像头] ——->(raw图像数据) ——->[mipi总线] ——->[图像处理芯片(如ISP)] ——-> (NV16/NV12等格式图像数据)

所以在设备树里面就要实现这个结构，

ov2685_out—>csi_dphy0_input ----> csi_dphy0_output ----> mipi_csi2_input -> mipi_csi2_output—>isp

这一个结构基本上不用自己实现，我照着之前的框架把其中一个支持的摄像头节点改为ov2685即可，还有对应的I2C地址和reset-gpios用自己的即可

添加好了之后，便可以使用，编译内核然后烧录到rv1106开发板

使用insmod加载模块
在这里插入图片描述

v4l2

​ 使用v4l2框架去获取图像，V4L2（Video for Linux 2）：Linux内核中视频设备中的驱动框架，对于应用层它提供了一系列的API接口，同时对于硬件层，它适配大部分的视频设备，因此通过调用V4L2的接口函数可以适配大部分的视频设备。

​ 如果ov2685.ko加载成功那么，通过V4L2就能检测到video设备，通过命令行

v4l2-ctl --list-devices

在这里插入图片描述

能够看到正常出现vedio0到vedio10 表示注册加载正常

获取影像

使用v4l2-ctl工具去获取

v4l2-ctl -d /dev/video12 --set-fmt-video=width=800,height=800,pixelformat=NV12 --stream-mmap=3 --stream-skip=10 --stream-to=/gc5035.raw --stream-count=1 --stream-poll

在这里插入图片描述

碰到的问题

1.ISP无法正常同步

在这里插入图片描述

并且v4l2 不能够看到正常出现vedio0到vedio10，于是用dmesg打开日志，摄像头注册过程确实出现了一些问题

我查了一下原因，是因为获取frame_interval失败才导致的，看了下ov2685.c里面也确实没有相关的代码，于是我对比了一下ov2680的驱动文件，发现ov2680.c里面是注册了这个驱动函数的，于是我在ov2685.c也添加并注册了帧概率获取函数:

static int ov2685_s_g_frame_interval(struct v4l2_subdev *sd,
				     struct v4l2_subdev_frame_interval *fi)
{
    struct v4l2_fract		frame_interval;
	frame_interval.numerator = 1;
	frame_interval.denominator = 30;
	fi->interval= frame_interval;
	return 0;
}
static const struct v4l2_subdev_video_ops ov2685_video_ops = {
	.s_stream = ov2685_s_stream,
	.g_frame_interval	= ov2685_s_g_frame_interval,
	.s_frame_interval	= ov2685_s_g_frame_interval,
};

具体ov2685.c为什么不注册这个函数我没有深究，因为摄像头确实跑起来了。

2.使用MIPI 2通道无法正常获取图像

出现select timeout错误

解决方法，在设备树里面改动，当然也有可能是其它原因

	port {
		ov2685_out: endpoint {
			remote-endpoint = <&csi_dphy_input2>;
			data-lanes = <1>;
		};
	};

本来是data-lanes = <1，2>，因为我硬件上使用的是2lane ，手册上也说了可以使用2lane，但是文档里面给的示例却是1通道

在这里插入图片描述

不过确实改为1通道才能正常使用，不过我觉得2通道也能正常使用，不过需要对摄像头传感器进行配置。

参考:

https://www.ebaina.com/articles/140000017027

如果有问题可以发送到我的邮箱 qq：1074485750

near hear
关注
  • 24
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
RV1126上使用OnVif协议操作IPC
05-04
使用OnVif协议操作IPC，主要有如下功能： （1）能否主动发现局域网内连接的IPC设备并获取该设备的基础信息； （2）获取IPC设备的RTSP流地址； （3）控制PTZ云台，如左右、变倍聚焦等 详见： https://blog.csdn.net/jidapenglin28/article/details/130495894?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22130495894%22%2C%22source%22%3A%22jidapenglin28%22%7D
RK3568/RV1126/RV1109/RV1106 ISP调试方案
YEYUANGEN的专栏
12-13 2499
红外相机的sensor和彩色相机的sensor有些不同，有的红外相机的sensor输出的raw data就是亮度值，即灰度值，输出来就是只有Y信息的，一个像素点通常由Y10/Y16等字节来表示。raw格式是无法直接用于图像处理的，因为每个像素点颜色信息都不全，需要经过ISP处理，把raw转成yuv/rgb之类的图像（不只是格式转换，还要做白平衡调整之类的图像处理工作，调整好图像效果），才可以输入到图像处理算法中。MIPI：串行接口，当前主要摄像头接口，速度最快，抗干扰强。LVDS：串行接口。
幸狐RV1106开发板烧录Ubuntu系统与配置SDK，RV1106 LuckFox Pico Max——最新的操作
qq_62725929的博客
06-13 1733
以及SDK内的文档资料开发板型号：RV1106 LuckFox Pico Max烧录系统： Ubuntu虚拟机系统：Ubuntu 20.04&&Ubuntu22.04PC系统：win11占用空间：大概15G本文主要记录幸狐RV1106 LuckFox Pico Max开发板的配置过程，记录一些遇到的问题。PS：注意自己的剩余空间，我剩余空间未注意导致虚拟机寄了，所以换了22.04,就在我重装的这一天官方更新了。。。解决了一些bug比如ubuntu这个文件夹没有。
RV1106的使用总结
qq_30143193的博客
12-13 2094
RV1106的学习总结
摄像头ov2685中关于sensor id 设置的相关的寄存器地址
u010783226的专栏
11-22 593
camera
RV1106 YOLOV5
qq_32582681的博客
03-22 1793
最近研究瑞星微的rv1106的yolov5检测算法，但是官方给的例子真是让人欲哭无泪，首先读取时局用的是stb的图像库，前处理加上resize需要250ms，后处理只能输出nc1hwc2,里面的举证转换需要250ms，后续自己做了很多工作，发这个只是为了记录代码。 // Copyright (c) 2021 by Rockchip Electronics Co., Ltd. All Rights Reserved. // // Licensed under the Apache License, Versi
【详解】RV1106使用RKMPI+Yolov5部署检测
最新发布
weixin_44236302的博客
07-02 1142
记录使用RKMPI和Yolov5实现目标检测的demo。硬件需求：SC3336 摄像头网线一根、usb线、软件需求：buildroot 镜像（暂不支持 Ubuntu 系统）
OV2685翻转问题
weixin_33979745的博客
01-28 172
首先说明的是，影响camera方向的有两个地方，分别是应用方向，也就是app，内核camera方向，在对应的ov2685.c的文件里。 下面针对具体问题来进行详细说明。 1.OV2685控制上下倒180度的寄存器是: 控制上下翻转的是0x3820,将该寄存器的第二位置一即可，也就是直接配置成0xC4,摄像头就可以上下翻转...
RV1106系统烧录及静态IP设置
qq_54017644的博客
06-12 292
2、SocToolKit工具的获取。
RV1106开发环境搭建(windows)
flamebox的博客
11-09 3797
去年使用了瑞芯微的RV1126的模组做了一个ai小相机（视频地址在这里），当时感觉性能还可以，就是开发环境太过一言难尽了。最近又发现有厂家使用另外一个新型号RV1106推出了开发板，价格十分喜人。关键是现在的开发生态比我当时友善太多了，资料更规范了，github上也有配套的各种开源仓库。一番体验下来，感觉还是不错的。现在的rknn开发环境相对以前我接触时简便和优雅了许多。在这个基础上，加上你自己的业务逻辑和自己训练转换的rknn模型后，就能做具体的东西了。
RV1106最新datasheet
06-14
在概述部分，RV1106 datasheet提供了RV1106微处理器的概述，包括其主要特性、应用场景和技术指标。在特性部分，datasheet列出了RV1106的各种特性，包括CPU、存储器、显示控制器、音频控制器、网络控制器等。 在块图...
RV1106使用指导文档.pdf
04-09
根据提供的文档信息，我们...综上所述，该文档提供了RV1106的使用指导，覆盖了从编译环境搭建、源码获取、编译流程到外围设备测试等多个方面。对于希望使用RV1106进行项目开发的工程师来说，这份文档是宝贵的参考资料。
rv1106控制阀程序
12-22
在深入探讨这些知识点之前，我们首先要理解的是，这里的“rv1106”可能是指一种微控制器或处理器型号，它负责处理程序指令并控制硬件接口。 1. **触摸屏控制**：在现代工业设备中，触摸屏已成为人机交互的重要方式...
RV1106G官方开发板原理图，AD格式
03-20
标题中的“RV1106G官方开发板原理图，AD格式”指的是基于RV1106G芯片的开发板的电路设计图纸，这些图纸采用了Altium Designer（AD）软件进行绘制。Altium Designer是一款广泛使用的专业PCB设计软件，能够帮助工程师...
Rockchip rv1106/1103 linux SDK 编译过程排障
weixin_38806540的博客
08-23 1106
ubuntu20及以上内置了python3并且bash执行语法为。编译报错一般是由于系统缺少相应组件引起的，修复后可以。安装这个组件可以修复这类问题。因为系统缺少openssl库。，但编译文件默认使用。
RV1106移植心得
hxchuan000的专栏
01-17 1939
lrwxrwxrwx 1 lxin lxin 93 1月 17 11:14 .BoardConfig.mk -> project/cfg/BoardConfig_IPC/BoardConfig-SPI_NAND-Buildroot-RV1106_Luckfox_Pico_Pro_Max-IPC.mk。其实就是指定.BoardConfig.mk位置。.BoardConfig.mk是一个连接文件。在根目录有个readme_cn.txt文件，指导我们如何编译。可能是因为我们打包文件的img是链接文件导致的。
RV1106 stb图像库、opencv、rga对比评测
qq_32582681的博客
03-20 2279
rknn opencv rga
【RV1106/RV1103】RV1103增加RTL8723BS
似水流年
10-27 7125
配对：pair MACaddress(刚刚查找的配对设备的mac地址) 这一步需要在手机确认。需要一个文件夹：rkwifibt-1.0.0 (我从RV1126的SDK里面找到的)直到这里，我才知道我其实用手机已经扫出了这个蓝牙！连接：connect MACaddress(刚刚查找的配对设备的mac地址)信任设备：trust MACaddress(刚刚查找的配对设备的mac地址)， 且使用ko方式加载，所以使用Realtek时一定要把内核的。这样看起来，进入蓝牙命令交互之后，是不正常的。
RV1106_RV1103_Linux_Battery_IPC_Doorbell_SDK、RV1106_RV1103_Linux_CVR_SDK等SDK的异同点
小灰灰的博客
10-24 1247
这些 SDK 都是针对不同的硬件平台和应用场景开发的，它们之间有一些异同点。
rv1106 datasheet
12-02
RV1106是一款高性能、低功耗的嵌入式处理器，适用于各种物联网设备和智能家居产品。RV1106处理器采用了先进的ARM Cortex-A9架构，具有双核心处理器和丰富的外设接口，能够提供稳定、高效的处理性能。 RV1106 datasheet包含了该处理器的详细技术规格和性能参数。首先介绍了RV1106的主要特点和应用场景，包括智能摄像头、智能音箱、智能家电等。接着介绍了该处理器的主要技术指标，如处理器核心频率、内存类型和大小、接口类型和数量等。 RV1106 datasheet还详细介绍了该处理器的功耗特性，包括在不同工作状态下的功耗消耗和优化方案。此外，还提供了RV1106的软件支持和开发工具，如支持的操作系统、开发环境和工具链等。 此外，RV1106 datasheet还包含了该处理器的外设接口和扩展能力，如支持的传感器类型、通信接口和外部存储。通过详细的技术规格和性能参数，开发人员能够全面了解RV1106处理器的潜力和应用范围，为设计和开发物联网设备提供参考和支持。 RV1106 datasheet是开发和应用RV1106处理器的重要参考资料，具有很高的参考价值。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值