Apollo部署与简易架构梳理

已于 2024-07-25 23:19:27 修改
阅读量620 收藏 13
点赞数 8
文章标签： 架构
于 2024-07-25 22:58:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kzz6991/article/details/140701829
版权

文章目录


原文

apollo 安装

sudo apt-get update
sudo apt-add-repository multiverse
sudo apt-get update
# sudo apt-get install nividia-driver-455 # 看版本

启用cuda


distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get -y update
sudo apt-get install -y nvidia-docker2

clone源代码

# 使用 SSH 的方式  
git clone git@github.com:ApolloAuto/apollo.git

启动容器

./docker/scripts/dev_start.sh

进入容器

./docker/scripts/dev_into.sh

构建

./apollo.sh build

启动

./scripts/bootstrap.sh start

http://localhost:8888 可以显示DreamView界面

回放demo
在docs/02_Quick Start/demo_guide

python3 record_helper.py demo_3.5.record
cyber_recorder play -f demo_3.5.record -l

cyber_recorder在apollo/中

apollo的基本架构

apollo开发文档

请添加图片描述

请添加图片描述

常用数据见本篇末尾

组件机制

Cyber RT 组件机制
Cyber RT采用了基于Component模块和有向无环图（DAG）的动态加载配置的工程框架。即将相关算法模块通过Component创建，并通过DAG拓扑定义对各Component依赖关系进行动态加载和配置，从而实现对算法进行统一调度，对资源进行统一分配。

component

Component构成去中心化的网络，系统由多个component组成，构成一张计算图，如

请添加图片描述

component分为两类：
apollo::cyber::Component最多可以支持4路消息融合。多个channel读取数据时，第一个channel为主channel。当主 Channel 有消息到达，Cyber RT会调用 Component 的 apollo::cyber::Component::Proc 进行一次数据处理。
也就是说，每次有主消息到达，其就会执行一次Proc。

apollo::cyber::TimerComponent不会被消息出发，而是由系统定时调用。

创建一个Component的方式如下：

//1、包含头文件
#include "cyber/component/component.h"
#include "test/proto/examples.pb.h"
 
// 2、定义一个类，继承以Driver和Chatter为参数的Component模版类
class ComponentSample : public Component<Driver, Chatter> {
public:
  //3、重写Init() 函数和Proc() 函数
  bool Init() override;
  bool Proc(const std::shared_ptr<Driver>& msg0,
  const std::shared_ptr<Chatter>& msg1) override;
};
//4、 在cyber中注册ComopnentSample
CYBER_REGISTER_COMPONENT(ComponentSample)

也就是说我们需要继承一个模版类，并在cyber RT中注册这个类。

编译与加载

在Cyber RT中，Component会变编译为独立的.so文件。Cyber RT可以使用cyber_launch工具启动componenet对应的launch文件（可以是二进制文件或dag）或使用mainboard启动component对应的dag文件。
![[Apollo部署与简易架构梳理/Pasted image 20240723163142.png]]

节点通讯

参考资料
Publish-Subscribe模式
Reader和Writer

![[apollo/Apollo部署与简易架构梳理/Pasted image 20240715111104.png]]
RTPS（Real-Time Publish-Subscribe） 是一种用于实时分布式系统的通信协议，主要用于实现设备间的实时数据交换。

Fast RTPS是DDS标准的一个非常流行的开源实现。

DDS（Data Distribution Service）标准提供了一个平台无关的数据模型，主要用于实时分布式系统。不同的实现可以相互通信。

  1. 数据中心化：DDS采用数据为中心的架构，数据被看作是核心，而不是进程之间的直接通信。
  2. 发布/订阅模型：DDS使用发布/订阅（Pub/Sub）模式，允许数据生产者（发布者）和数据消费者（订阅者）之间进行解耦，从而提高系统的灵活性和可扩展性。

节点间通过channel进行读写形成数据通路，这些数据通路形成一个动态的数据流图。

cyber/service_discovery/TopologyManager对网络拓扑进行监控管理。只需要一个管理因此单例即可

- NodeManager用于管理网络拓扑中的节点。
  - ChannelManager用于管理channel，即网络拓扑中的边。
  - ServiceManager用于管理Service和Client。

TopologyManager::TopologyManager()

: init_(false),

node_manager_(nullptr),

channel_manager_(nullptr),

service_manager_(nullptr),

participant_(nullptr),

participant_listener_(nullptr) {

Init();

}

TopologyManager::CreateParticipant()函数可以创建网络拓扑的参与者——transport::Participant对象，其包含host name与process id的名称。
ParticipantListener用于监听网络的变化。网络拓扑发生变化时，Fast RTPS传上来ParticipantDiscoveryInfo，在TopologyManager::Convert()函数中对该信息转换成Cyber RT中的数据结构ChangeMsg。然后调用回调函数TopologyManager::OnParticipantChange()，它会调用其它几个子管理器的OnTopoModuleLeave()函数。然后子管理器中便可以将相应维护的信息进行更新（如NodeManager中将相应的节点删除）。

初始化的时候会创建实例

数据的传输

- INTRA：如果是同进程的，因为在同一地址空间，直接传指针就完了。
  - SHM(Shared memory)：如果是同一机器上，但跨进程的，为了高效可以使用共享内存。
  - RTPS：如果是跨设备的，那就老老实实通过网络传吧。
  （目前我们的车机应该不太设计跨设备咯？）
![[apollo/Apollo部署与简易架构梳理/Pasted image 20240715120551.png]]
每个Writer有Transmitter，每个Reader有Receiver。它们是负责消息发送与收取的类。Transmitter与Receiver的基类为Endpoint，代表一个通信的端点，它主要的信息是身份标识与属性。其类型为RoleAttributes（定义在role_attributes.proto）的成员attr_包含了host name，process id和一个根据uuid产生的hash值作为id。通过它们就可以判断节点之间的相对位置关系了。

Reader和Writer会调用Transport的方法CreateTransmitter()和CreateReceiver()用于创建发送端的transmitter和接收端的receiver。创建时有四种模式可选，分别是INTRA，SHM和RTPS，和HYBRID。最后一种是前三种的混合模式，也是默认的模式。

消息读写的实现

消息的写端

在Component组件中通过CreaterWriter()函数创建Writer对象，然后向指定的channel发送消息。
如

writer_ = node_->CreateWriter<Image>(camera_config_->channel_name());// 创建writer对象

// 在创建该对象时，会在Init()初始化中通过CreateTransmitter()创建Transmitter对象，并调用JointTheTopology()将其加入到ChannelManager维护的拓扑信息中。
//
//此外，还会对该channel的读者相应的调用Enable函数和Disable函数。
//
...
auto pb_image = std::make_shared<Image>();                                 
pb_image->mutable_header()->set_frame_id(camera_config_->frame_id());      
pb_image->set_width(raw_image_->width);                                    
pb_image->set_height(raw_image_->height);                                  
pb_image->mutable_data()->reserve(raw_image_->image_size);  
// 以上完成发送数据的准备
// 这些消息如pb_image是定义好的protobuf类消息。
...
writer_->Write(pb_image);
// 其会调用Transmitter::Transmit()将message发出
消息读端

对于一个component而言，其可以从多个channel收取消息。
上层模块要取用这些消息，主要两种方式：一种是通过Component的Proc()接口，它被调用时参数就是最新的消息。另一种是通过Reader的Observe()函数直接拿
例：

template <typename M0, typename M1>  // 声明一个模板类Component，其中M0和M1是数据类型参数
bool Component<M0, M1, NullType, NullType>::Initialize(  // 初始化函数的定义
  ...
  ReaderConfig reader_cfg;  // 创建一个ReaderConfig对象用于配置读者
  reader_cfg.channel_name = config.readers(1).channel();  // 设置通道名称为配置中的第二个读者通道
  reader_cfg.qos_profile.CopyFrom(config.readers(1).qos_profile());  // 从配置中复制第二个读者的QoS配置
  reader_cfg.pending_queue_size = config.readers(1).pending_queue_size();  // 设置待处理队列大小为配置中的第二个读者大小
  
  auto reader1 = node_->template CreateReader<M1>(reader_cfg);  // 使用配置创建一个类型为M1的读者，并命名为reader1
  
  reader_cfg.channel_name = config.readers(0).channel();  // 更新通道名称为配置中的第一个读者通道
  reader_cfg.qos_profile.CopyFrom(config.readers(0).qos_profile());  // 从配置中复制第一个读者的QoS配置
  reader_cfg.pending_queue_size = config.readers(0).pending_queue_size();  // 设置待处理队列大小为配置中的第一个读者大小
  
  auto reader0 = node_->template CreateReader<M0>(reader_cfg);  // 使用配置创建一个类型为M0的读者，并命名为reader0
  ...
  readers_.push_back(std::move(reader0));  // 将reader0移动到readers_向量中
  readers_.push_back(std::move(reader1));  // 将reader1移动到readers_向量中
  ...  
  std::vector<data::VisitorConfig> config_list;  // 创建一个data::VisitorConfig类型的向量用于存储访问者配置
  for (auto& reader : readers_) {  // 遍历所有读者
    config_list.emplace_back(reader->ChannelId(), reader->PendingQueueSize());  // 将每个读者的配置添加到配置列表中
  }  
  auto dv = std::make_shared<data::DataVisitor<M0, M1>>(config_list);  // 使用配置列表创建一个DataVisitor智能指针，并特化为M0和M1类型
  croutine::RoutineFactory factory =  // 创建一个RoutineFactory对象
      croutine::CreateRoutineFactory<M0, M1>(func, dv);  // 使用工厂函数创建RoutineFactory，并传入func函数和数据访问者
  return sched->CreateTask(factory, node_->Name());  // 创建一个任务并返回创建结果，任务使用RoutineFactory和节点名称
}

这个案例中有两个channel并分别创建了reader对象。
每个channel都有对应的协程进行数据处理，还有一个协程实现消息的组合，所以有n个channel的component至少会有n+1个协程

常用术语

Component

在自动驾驶系统中，模块（如感知、定位、控制系统…）在 Cyber RT 下以 Component 的形式存在。不同 Component 之间通过 Channel 进行通信。Component 概念不仅解耦了模块，还为将模块拆分为多个子模块提供了灵活性。

Channel

Channel 用于管理 Cyber RT 中的数据通信。用户可以发布/订阅同一个 Channel，实现 p2p 通信。

Task

Task 是 Cyber RT 中异步计算任务的抽象描述。

Node

Node 是 Cyber RT 的基本组成部分；每个模块都包含一个 Node 并通过 Node 进行通信。通过在节点中定义 Reader/Writer 或 Service/Client，模块可以具有不同类型的通信形式。

Reader/Writer

Reader/Writer 通常在 Node 内创建，作为 Cyber RT 中的主要消息传输接口。

Service/Client

除了 Reader/Writer 之外，Cyber RT 还提供了用于模块通信的 Service/Client 模式。它支持节点之间的双向通信。当对服务发出请求时，客户端节点将收到响应。

Parameter

参数服务在 Cyber RT 中提供了全局参数访问接口。它是基于 Service/Client 模式构建的。

服务发现

作为一个去中心化的框架，Cyber RT 没有用于服务注册的主/中心节点。所有节点都被平等对待，可以通过“服务发现”找到其他服务节点。使用UDP用来服务发现。

CRoutine

参考协程（Coroutine）的概念，Cyber RT 实现了 Coroutine 来优化线程使用和系统资源分配。

Scheduler

为了更好地支持自动驾驶场景，Cyber RT 提供了多种资源调度算法供开发者选择。

Message

Message 是 Cyber RT 中用于模块之间数据传输的数据单元。

Dag文件

Dag 文件是模块拓扑关系的配置文件。您可以在 dag 文件中定义使用的 Component 和上游/下游通道。

Launch文件

Launch 文件提供了一种启动模块的简单方法。通过在launch文件中定义一个或多个 dag 文件，可以同时启动多个模块。

Record文件

Record 文件用于记录从 Cyber RT 中的 Channel 发送/接收的消息。回放 Record 文件可以帮助重现Cyber RT之前操作的行为。

Mainboard

Cyber RT 的主入口，可以通过mainboard -d xxx.dag来启动一个模块进程。

Monitor工具使用

ESC | q key ---- 退出
Backspace ---- 后退
h | H ---- 显示帮助页
PageDown | Ctrl+d ---- 上一页
PageUp | Ctrl+u ---- 下一页
Up, down or w, s keys ---- 上下移动当前的高亮行
Right arrow or d key ---- 进入高亮行, 显示高亮行数据的详细信息
Left arrow or a key ---- 从当前界面返回上一层界面
Enter key ---- 与d键相同
f | F ---- 显示数据帧频率
t | T ---- 显示channel消息类型
Space ---- 关闭|开启 channel (仅在channel有数据到达时有效; channel关闭后会变成黄色)
i | I ---- 显示channel的Reader和Writer信息
b | B ---- 显示channel消息内容
n | N ---- 显示消息中RepeatedField的下一条数据
m | M ---- 显示消息中RepeatedField的上一条数据

豆沙粽子好吃嘛!
关注
apollo部署
哇哦~
08-22 748
apollo的部署说明，以及高可用部署
Apollo架构篇 - 分布式配置中心Apollo
The Secret
02-09 3061
本文解析Apollo的原理。
Apollo代码解析：代码结构与运行流程
肥嘟嘟的左卫门
04-17 1730
一 总体概括 按场景Scenario来划分问题，一个场景包含多个Stage，一个Stage包含多个Task。 ScenarioManager：负责管理Scenario的切换与选择。 **Scenario:**某个场景或某个问题。 **Stage:**解决某个场景问题的步骤，一般是一连串的Stage实现某个Scenario. **Task:**实现某个步骤的具体方法过程，一般是一连串的Task实现某个步骤。 即解决某个Scenario场景问题时，先循环遍历Scenario下的每个Stage，每个Stage再循
Linux下安装Apollo （Quick Start）
cmdos的专栏
03-11 534
一、运行时环境1、CentOS72、JDK1.8+ （安装JDK可参考 https://www.cnblogs.com/sportsky/p/15973713.html）3、MySQL 5.6.5+ （安装MySQL可参考 https://www.cnblogs.com/sportsky/p/15973733.html）二、Apollo特性1、统一管理不同的环境、不同集群的配置2、配置修改实时生效（热发布）3、版本发布管理4、灰度发布5、权限管理、发布审核、操作审计6、客户端配置信息监控7、提供java和.
Apollo源码学习（一）结构
DC9751的博客
07-12 810
Apollo学习笔记
Apollo预测模块代码结构解析
qq_41324346的博客
07-07 3346
在看Apollo预测部分代码时，一开始被很多的模块搞晕了，一时不知从何下手。而且网上没能找到比较有价值的解析代码结构的博客，因此，在理清了预测部分的结构之后，想到写一篇博客，供同样学习预测模块的伙伴们参考。本篇博客只涉及结构解析，不进行具体的算法分析，如有错误，恳请批评指正。 预测模块的工作是预测感知模块检测到的障碍物的行为。整个模块的输入是障碍物信息（位置、速度、加速度、方位角）、本车的规划轨迹、本车定位信息； 输出是障碍物的预测轨迹及其概率。预测模块与其他模块的关系如图所...
apollo部署使用的sql
02-16
综上所述，Apollo部署过程中涉及的SQL知识点涵盖了数据库的创建与使用、表结构设计、数据操作、性能优化以及安全策略等多个方面。理解并掌握这些知识点，将有助于顺利部署和维护Apollo配置中心。
Apollo部署以及使用
02-01
【Apollo部署及使用详解】 Apollo，作为一款备受瞩目的配置中心，它支持动态热部署配置，使得配置变更能够实时生效，极大地提升了系统运维的效率。此外，Apollo还提供了全面的权限管理和环境隔离功能，确保了不同...
apollo部署源文件
07-23
Apollo架构主要由三部分组成： 1. **Config Service**：配置服务，负责配置的存储、分发。客户端通过配置服务获取配置信息。 2. **Admin Service**：管理服务，提供管理界面，用于添加、修改和删除配置。 3. **...
携程Apollo配置中心架构深度剖析
01-27
作者宋顺提供的架构图可能对初学者来说难以解读，但理解其架构对于正确部署和使用Apollo至关重要，也有助于深入理解微服务架构的基本原则。 **Apollo的架构与模块** 1. **ConfigService**：提供配置获取和推送接口...
apollo-quick-start-1.6.1.zip
04-25
apollo 服务端代码
携程 Apollo 配置中心：Quick Start
happyJared
03-07 1762
Apollo（阿波罗）是携程开源的分布式配置中心，能够集中化管理不同环境、不同集群的应用配置，配置修改后能够实时推送到客户端，具备规范的权限、流程治理等特性，适用于绝大多数的微服务配置管理场景。详细的介绍可点击 Apollo Wiki 进行了解，本文基于简单的本地部署和 Docker 部署示例进行演示。 本地部署 下载 Quick Start 从 github checkout ，项目地址：h...
Apollo使用（1）：介绍、QuickStart
最新发布
游王子的博客
07-24 694
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。服务端基于Spring Boot和Spring Cloud开发，打包后可以直接运行，不需要额外安装Tomcat等应用容器。
Apollo2.0自动驾驶quickstart文件夹之apollo_2_0_sensor_calibration_guide.md
北漠苍狼的专栏(QQ:1746430162)
03-23 1161
/****************Apollo源码分析**************************** Copyright 2018 The File Authors &amp; zouyu. All Rights Reserved. Contact with: 1746430162@qq.com 181663309504 源码主要是c++实现的，也有少...
配置中心阿波罗学习之一 Quick Start
sinat_28771747的博客
06-22 600
### 下载Quick Start安装包 #### 我打算讲配置中心服务端安装在我本地的虚拟机中的centos中 - 第一步需要下载quick start安装包，然后上传到我的centos中，上传之后需要手动将jar和demo.sh赋权为可执行 chmod 744 demo.sh chmod 744 apollo-all-in-one.jar - 第二部 ...
apollo服务搭建
weixin_42761391的博客
01-24 535
快速上手搭建Apollo配置中心
Apollo 7.0 源码及框架解读 - 知乎
studyvcmfc的专栏
03-05 1742
Apollo 7.0 源码及框架解读 - 知乎
Apollo (一) —— 自己搭建一个Apollo
没有水的鱼
08-28 4026
大家好，今天我要给大家分享是的携程提出的统一配置服务中心开源项目-Apollo。 在此，感谢Apollo开源项目团队为此做出的努力付出。^_^ -----------------------------------------------------------简介，老手觉得麻烦可绕过--------------------------------------- 首先我们要了解Apollo是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

豆沙粽子好吃嘛!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值