一种RK3399+MIPI+FPGA的高速工业相机的设计方案（一）

目 前 ， 嵌 入 式 相 机 逐 渐 代 替 了 传 统 相 机 进 入 大 众 的 视 野 ， 应 用 在 公 安 刑 侦 、 生 物 医 学和 文 物 保 护 等 诸 多 领 域 。 但 是 随 着 人 们 对 图 像 视 觉 成 像 质 量 追 求 的 提 升 ， 图 像 传 感 器 的 特性 朝 着 高 分辨 率 、 高 灵 敏 度 、 高 像 素 位 宽 的 趋 势 发 展 ， 普 通 的 嵌 入 式 相 机 已 经 不 能 满 足 大数 据 量 、 低 延 迟 性 的 处 理 要 求 。为 此 ， 本 论 文 研 究 设 计 了一种 基 于 ＦＰＧＡ 的 ＭＩ ＰＩ 接 口 嵌 入 式 平 台 相 机 ， 从 图 像 采 集 、
图 像 处 理 和 图 像 传 输 等 方 面 进 行 深 入 研 究 最 终 研 制 出 整 机 。
系 统 前 端 图 像 采 集 方 面 ， 支 持 Ｇｐｉ ｘｅｌ 公 司 的 多 款 图 像 传 感 器 如 ＧＳＥＮＳＥ４ ０ ０Ｂ Ｓ Ｉ 、ＧＳＥＮＳ Ｅ２ ０２ ０ Ｓ 、 ＧＭＡＸ０ ８ ０６ 等 ， 通 过 可 预 配 置 的 模 式 驱 动 图 像 传 感 器 输 出 ＬＶＤ Ｓ 类 型 的数 据 信 号 。 经 过 仔 细 研 究 提 出 的 功 能 板 分 离 式 硬 件 设 计 ， 在 仅 使 用 同一块 图 像 处 理 电 路 板的 条 件 下 可 兼 容 不 同 的 图 像 采 集 电 路 板 ， 保 证 了 系 统 的 完 整 性 ， 有 效 提 高 了 系 统 的 研 发 效率 。系 统 中 间 图 像 处 理 部 分 ， 采 用 了 Ｓｐａｒｔａｎ６ 系 列 的 ＦＰＧＡ 芯 片 ， 研 发 设 计 了 适 配 于Ｓｐａｒｔ ａｎ６ 的 数 据 实 时 解 析 模 块 、 数据 实 时 拼 接 模 块 ， 为 了 实 现 更 好 的 图 像 效 果 ， 在 Ｓｐａｒｔ ａｎ６内 部 还 分 别 集 成 了 三 种 图 像 锐 化 算 法 ： Ｓ ｏｂｅ ｌ 锐 化 、 Ｌ ａｐｌ ａｃ ｅ 锐 化 和 非 锐 化 掩 模 算 法 。 此 外 ，系 统 启 动 模 式 除 了 基 本 的 视 频 模 式 和 图 片 捕 获 模 式 ， 还 支 持 序 列 触 发 模 式 满 足 特 殊环 境 的触 发 需 求 。 同 时 ， 系 统 还 可 通 过 Ｓｐａｒｔａｎ６ 实 时 地 配 置 图 像 传 感 器 的 参 数 和 工 作 模 式 ， 为 自动 曝光 、 图 像 模 式 切 换 等 功 能 提 供 基 本 保 障 。
系 统 后 端 图 像 传 输 部 分 ， 对 于 高 速 数 据 在 不 同 芯 片 间 的 传 输 创 新 性 地 采 用 了 手 机 内 部集 成 的 高 速 ＭＩ ＰＩ 接 口 ， 设 计 了 基 于 Ｃｒｏ ｓ ｓ＿Ｌ ｉ ｎｋ 芯 片 的 接 口 桥 接 转 换 模块 进 行 数 据 类 型 的转 换 ， 并 研 究 提 出 了 在 同一个 ＭＩ ＰＩ 接 口 上 同 时 支 持 不 同 数 据 类 型 传 输 的 方 法 ， 为 后 端 图像 的 传 输 提 供一个 高 速 、 稳 定 的 数 据 流 ， 避 免 系 统 发 生 丟 帧 、 掉 包 的 情 况 。 最 后 ， 数 据 信号 在 ＲＫ３ ３ ９ ９ 开 发 平 台 进 行 接 收 和 显 示 控 制 。最 终 系 统 的 综 合测 试 结 果 表 明 ， 本 系 统 很好 地 体 现 兼 容 性 优 势 ， 基 于 自 主 设 计 的 软 件模 块 可 在 系 统 后 端 显 示 高 质 量 图 像 ， 并 且 能 够 提 供 分 辨 率 为 ｌ 〇 ８ ０ Ｐ ＠ ３ ５ ｆｐ ｓ 的 稳 定 视 频 流 ，为 高 清 视 频 应 用 领 域 提 供 了一个 良 好 的 解 决 方 案。

 华 中 科 技 大 学 设 计 的一款 紫 外 － 可 见 双 光 谱 相 机 ［１ ３ ］， 此 相 机 可 同 时 捕 获 可 见 光 和 紫 外光 的 双 光 谱 图 片 ， 通 过 后 续 校 准 的 二 次 计 算 提 高 相 机 精 度 。 另 外 ， 该 相 机 只 使 用 了一片ＡＲＭ 作 为 主 核 心 ， 该 研 究 中 在 处 理 ７ ２ ０ ｘ ４ ８ ０ 分 辨 率 图 像 的 时 候 能 提 供 较 好 的 图 像 效 果 ，但 是 当 图 像 分 辨 率 进一步 增 大 的 时 候 ， 将 造 成 处 理 器 的 资 源 紧 张 ， 在 对 图 像 进 行 硬 件 算 法处 理 等 过 程 中 可 能 造 成 显 示 结 果 迟 缓 等 现 象。

 

最 后 ， 确 立 了 Ｓ ｐ ａｒｔ ａｎ６ 主 芯 片 ＋ Ｃｒ ｏ ｓ ｓ ＿Ｌ ｉ ｎｋ 接 口 转 换 芯 片 的 处 理 模 式 作 为  最终设 计 方 案 。 本 论 文 中 系 统 设 计 方 案 创 新 性 地 提 出 使 用一块 主 芯 片 作 为 系 统 的 统 筹 处 理 中心 ， 前 期 本 论 文 在 调 研 过 程 中 也 研 究 了 目 前 市 场 上 核 心 的 处 理 器 种 类 有Ｄ Ｓ Ｐ／ Ｃ ＰＵ／ ＧＰ Ｕ／ Ａ Ｓ Ｉ Ｃ 等 ， 但 是 相 比 于 Ｆ Ｐ ＧＡ 芯 片 的 高 效 并 行 处 理 数 据 的 优 势 和 低 延 迟 、 高效 率 和 低 功 耗 等 特 点 ， ＦＰ ＧＡ 芯 片 显 然 更 加 符 合 本 论 文 的 设 计 要 求 ， 研 究 并 设 计 其 作 为 图像 传 感 器 驱 动 和 数 据 信 号 处 理 的 枢 纽 ， Ｓ ｐａｒｔａｎ６ 芯 片 需 要 研 究 设 计 以 下 功 能 ：
１） 研 究 国 产 Ｃ ＭＯ Ｓ 图 像 传 感 器 的 特 性 ， 设 计 专 门 的 驱 动 模 块 不 仅 仅 能 够 实 现 最 基 本的 对 Ｃ ＭＯ Ｓ 图 像 传 感 器 的 驱 动 功 能 ， 并 且 还 要 能 够 在 ＣＭＯ Ｓ 图 像 传 感 器 正 常 工作 的 过 程 中 对 其 寄 存 器 参 数 进 行 实 时 配 置 进 而 改 变 其 工 作 模 式 ， 充 分 挖 掘 国 产Ｃ ＭＯ Ｓ 图 像 传 感 器 的 潜 能 ；
２ ） 设 计 专 门 对 接 ＬＶＤ Ｓ 串 行 信 号 的 数 据 接 收 模 块 ， 首 先 需 要 将 图 像 传 感 器 输 出 的ＬＶＤ Ｓ 串 行 信 号 进 行 数 据 的 接 收 和 解 析 ， 能 够 在 特 别 设 计 的 数 据 校 正 机 制 下 转 换得 到 准 确 无 误 的 图 像 数 据 。 其 次 ， 设 计 了 专 门 针 对 国 产 Ｃ ＭＯ Ｓ 图 像 传 感 器 输 出 格式 特 点 的 数 据 拼 接 模 块 ， 使 用 最 少 的 资 源 模 块 在 最 短 的 时 间 内 完 成 图 像 的 拼 接 ；
３ ） 图 像 处 理 算 法 的 硬 件 实 现 ， 通 过 Ｓ ｐ ａｒｔａｎ ６ 芯 片 硬 件 加 速 图 像 算 法 的 流 程 ， 将 复 杂的 图 像 处 理 算 法 底 层 化 、 集 成 化 ， 针 对 本 论 文 的 应 用 场 景 特 别 设 计 了 适 配 于Ｓ ｐ ａｒｔ ａｎ ６ 芯 片 的 锐 化 算 法 ， 具 体 有 三 种 实 现 方 案 ： Ｓ ｏ ｂ ｅ ｌ 锐 化 、 Ｌ ａｐ ｌ ａｃ ｅ 锐 化 、 非锐 化 掩 模 算 法 ；
４ ） 设 计 系 统 的 多 功 能 性 ， 增 加 系 统 支 持 的 特 色 功 能 。 具 体 到 系 统 启 动 模 式 的 拓 展 设 计 ， 其 中 包 括 视 频 模 式 、 图 片 捕 获 模 式 和 序 列 触 发 模式 ；综 上 研 究 的 接 口 桥 接 转 换 方 案 而 言 ， 选 定 的 Ｃｒ〇 Ｓ Ｓ＿Ｌｉｎｋ 芯 片 需 要 设 计 完 成 以 下 所 述 功 能 ：

１ ） 设 计 广 泛 通 用 的 ＭＩＰＩ 接 口 转 换 模 块 ，一方 面 可 兼 容 多 种 数 据 流 上 游 处 理 数 据 的芯 片 类 型 ， 另一方 面 可 兼 容 不 同 数 据 流 下 游 接 收 信 号 的 开 发 平 台 类 型 ， 满 足 嵌 入式 系 统 强 适 配 性 的 原 则 ；
２） 针 对 不 同 数 据 类 型 的 信 号 ， 专 门 研 究 设 计 基 于 ＭＩ ＰＩ 接 口 的 虚 拟 通 道 实 现 的 多 数据 类 型 传 输 模 式 ， 该 新 型 方 案 较 以 往 方 案 相 比 有 底 层 硬 件 结 构 需 求 简 单 、 操 作 方便 等 优 点。

３ ． １ 硬 件 电路 框 架
硬 件 电 路 框 架 图 如 图 ３－１ 所 示 ， ＭＩ Ｐ Ｉ 接 口 嵌 入 式 平 台 相 机 硬 件 系 统 可 以 分 成 五 个 部分 来 进 行 设 计 ， 分 别 为 图 像 采 集 模 块 、 图 像 处 理 模 块 、 Ｉ ２ Ｃ 通 讯 模 块 、 接 口 桥 接 转 换 模 块和 主 控 模 块 ， 各 模 块 之 间 分 工 独 立 但 可 以 通 过 接 口 彼 此 互 通 合 作 ， 共 同 配 合 完 成 整 个 系 统的 各 个 功 能 。 图 像 采 集 模 块 位 于 整 个 系 统 的 前 端 ， 在 图 像 处 理 模 块 的 驱 动 下 通 过 ＬＶＤ Ｓ 接口 输 出 对 应 模 式 的 有 效 像 素 数 据 ， 于 此 同 时 ， 图 像 采 集 模 块 受 图 像 处 理 模 块 实 时 控 制 ， 可以 通 过 Ｓ Ｐ Ｉ （ Ｓ ｅ ｒｉ ａ ｌ Ｐ ｅｒｉ ｐｈｅ ｒ ａ ｌ Ｉ ｎｔ ｅ ｒ ｆａｃ ｅ ） 串 行 总 线 来 实 时 配 置 相 应 寄 存 器 使 得 图 像 传 感 器 进入 相 应 的 工 作 状 态

 同 时 ， 在 Ｓ ｐ ａｒｔ ａ ｎ６ 芯 片 内 部 进 行 处 理 过 后 图 像 数 据 以 ＲＡＷ １ ０ 类 型 传 输 给 接 口 桥 接 转换 模 块 ， 最 后 在 Ｃ ｒ〇 Ｓ Ｓ＿Ｌ ｉ ｎｋ 芯 片 中 转 换 成 ＭＩ Ｐ Ｉ 格 式 数 据 信 号 通 过 转 接 板 传 输 给 主 控 模 块的 ＲＫ３ ３ ９ ９ 开 发 平 台 进 行 图 像 显 示 。 其 中 ， Ｉ ２ Ｃ 通 讯 模 块 的 主 要 作 用 是 连 接 主 控 模 块 和 图像 处 理 模 块 来 决 定 最 终 栢 机 系 统 输 出 的 视 频 流 模 式 ， 可 支 持 调 试 的 功 能 有 ： 自 动 曝光 功 能 、增 益 调 节 、 帧 率 调 节 、 分 辨 率 调 节 、 图 像 正 常 摸 式／ Ｔｅ Ｓ ｔ Ｐ ａｔ ｅ ｒｎ （ 测 试） 摸 式 切 换 以 及 相 机系 统 的 开 启 和 关 闭 等 。

信迈提供RK3399+MIPI+FPGA定制化解决方案。