边缘计算框架

已于 2023-08-01 12:45:59 修改
阅读量248 收藏 1
点赞数
文章标签： 边缘计算 人工智能
于 2023-07-26 12:43:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/austin_2020/article/details/131936683
版权

1 云计算相关知识

1.1 概念及术语

PaaS/SaaS

私有云需要
(1) 服务器虚拟化
VMware ESXi或vSphere
(2) 网络虚拟化(SDN)
例如VMware NSX或Open vSwitch，这些来自开源领域的SDN产品。
(3) 存储虚拟化(SAN)
VMware提供VSAN，而Swift和Ceph则是开源领域的两款选项

云端管理软件
OpenStack、Oracle Cloud和VMware Integrated OpenStack等

开源私有云方案
Seafile&oWnCloud
云主机管理软件nano portal
超融合私有云
StarVCenter
一套国产超融合云平台IaaS软件，能通过整合企业数据中心(机房)硬件，轻松搭建私有云

CNCF（云原生计算基金会）
容器管理云平台 Rancher
还有kubesphere
KubeSphere 是在 Kubernetes 之上构建的面向云原生应用的分布式操作系统，完全开源，支持多云与多集群管理，提供全栈的 IT 自动化运维能力，简化企业的 DevOps 工作流。
dive显示docker层中的内容
大家所熟知的容器调度引擎有K8S, Swarm, Mesos和Rancher，这些都是开源的调度引擎
K8S入门推荐《k8s in action》这本书
k8s和docker核心干货
https://zhuanlan.zhihu.com/p/494054143
2022 年 4 月 dockershim 将会从 Kubernetes 1.24 中完全移除
containerd 是一个来自 Docker 的高级容器运行时，并实现了 CRI 规范。
OperatorHub.io
OperatorHub.io网站，它是K8S Operator的集中式存储库.
Kubernetes Operator
Operator 是由 CoreOS 开发的，用来扩展 Kubernetes API，特定的应用程序控制器，它用来创建、配置和管理复杂的有状态应用，如数据库、缓存和监控系统。Operator 基于 Kubernetes 的资源和控制器概念之上构建，但同时又包含了应用程序特定的领域知识。创建Operator 的关键是CRD（自定义资源）的设计。
Operator Framework
Operator Framework 同样也是 CoreOS 开源的一个用于快速开发 Operator 的工具包，该框架包含两个主要的部分：
Operator SDK: 无需了解复杂的 Kubernetes API 特性，即可让你根据你自己的专业知识构建一个 Operator 应用。
Operator Lifecycle Manager OLM: 帮助你安装、更新和管理跨集群的运行中的所有 Operator（以及他们的相关服务）

Proxmox VE(Proxmox Virtual Environment) 是一个集成OPENVZ 支持KVM应用的环境，开源虚拟机平台 。OpenVZ是基于Linux内核和作业系统的操作系统级虚拟化技术。OpenVZ允许物理服务器运行多个操作系统，被称虚拟专用服务器（VPS，Virtual Private Server）或虚拟环境（VE, Virtual Environment）。授权为GPLv2

基于kvm的虚拟机解决方案，还有RedHat的开源版本 oVirt。
都有web管理界面

HCI(Hyperconverged Infrastructure，即超融合)
SmartX（北京志凌海纳科技有限公司）是领先的超融合存储和虚拟化等IT基础架构与解决方案提供商。融合套件包括 SmartX 超融合基础设施中的 SMTX OS 和 CloudTower。 社区版完全免费，简单易得、功能丰富
虚拟化容器方案有KVM，VMware，Xenserver和Openstack。

云计算相关的考试
阿里云ACE认证
HCIP认证
华为云HCIE含金量更高？

2 人工智能相关概念

机器学习是人工智能的一个子领域。深度学习是机器学习的一个子领域，神经网络构成了深度学习算法的支柱。事实上，区分单个神经网络与深度学习算法的，是神经网络的节点层数或深度，深度学习算法必须超过三层。
机器学习
常见机器学习任务的端到端示例，例如图像分类、对象检测、姿势估计、问题回答、文本分类等。

2.1 术语及概念

IoT（Internet of Things，物联网）
onnx 叫做Open Neural Network Exchange。数据格式采用protobuf 如：onnx.proto
Pytorch -> ONNX -> TensorRT
Pytorch -> ONNX -> TVM
TF – onnx – ncnn
安装：pip onnx (同时也会装protobuf)
openvino：英特尔（Intel）为了让大家能够快速入门，提出了一项免费、跨硬体（CPU、 GPU、FPGA、ASIC）的开放电脑视觉推论及神经网路（深度学习）优化工具包「OpenVINO」（ Open Visual Inference & Neural Network Optimization Toolkit），同时提供很多预先训谏及优化好的神经网路模型可供大家直接使用。
参考
Cann
TransPose
HRNet：人体姿势估计神经网络
HigherHRNet：自下而上的HRNet
参考
CNN（Convolution Neural Network，卷积神经网路）一般传统用于影像分类。
RNN(循环神经网络)
DNN （Deep Neural Network）
GAN
MXNet 是亚马逊（Amazon）选择的深度学习库。

目标检测常用的算法，比如Yolov3、Yolov4算法、Yolov5算法、Yolox算法。
参考文档

NLP 自然语言处理
常见图像分类模型（InceptionV3 和 MobileNet）
TensorFlow 是一个端到端平台，它可以让您轻松地构建和部署机器学习模型。
描述：用于数值计算的使用数据流图的开源软件库.

PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。它主要由Facebookd的人工智能小组开发，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这一点是现在很多主流框架如TensorFlow都不支持的。 PyTorch提供了两个高级功能：
1.具有强大的GPU加速的张量计算（如Numpy）
2.包含自动求导系统的深度神经网络
PyTorch不支持快速傅里叶？但支持动态神经网络
Torch是一个有大量机器学习算法支持的科学计算框架，是一个与Numpy类似的张量（Tensor） 操作库，其特点是特别灵活，但因其采用了小众的编程语言是Lua，所以流行度不高，所以其实Torch是 PyTorch的前身，它们的底层语言相同，只是使用了不同的上层包装语言。
Numpy是一个用python实现的科学计算包，包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。

2.2 一些开发环境

端（手机与IOT设备）、边（基站与路由设备）、云（服务器）
量化/剪枝/蒸馏
MindSpore（AI框架）：是华为自研的一个全场景的深度学习框架。
MindX SDK（昇腾SDK）：行业SDK和应用解决方案。
ModelArts（AI开发平台）：华为云AI开发平台。
MindStudio（全流程开发工具链）：AI全流程开发IDE）

3 边缘计算框架

AWS的Greengrass
微软的Azure IoT Edge 运行时开源，要配合Azure
阿里的linkEdge
华为云智能边缘服务 IEF
华为的云边端一体开发模式EC
Linux基金会的Edgex Foundry
Cloud Foundry

KubeEdge和K3S
前者是华为捐给CNCF的

板卡上部署边缘集群方案
恩智浦EdgeScale：面向边缘计算的安全、可扩展设备管理套件
三个管理级别：
1、点击式仪表板用于快速开发和定制
2、命令行界面(CLI)用于提高管理大规模部署时的控制力
3、RESTful API用于与任何云计算框架集成，同时让OEM能够提供自己独特的最终用户体验
结合AWS亚马逊公有云部署
参考文档：
Real-time Edge Software User Guide
IMX yocto工程
LSDK Yocto project

边缘计算的优点：
低延迟：计算能力部署在设备侧附近，设备请求实时响应；
低带宽运行：将工作迁移至更接近于用户或是数据采集终端的能力能够降低站点带宽限制所带来的影响。尤其是当边缘节点服务减少了向中枢发送大量数据处理的请求时。
隐私保护：数据本地采集，本地分析，本地处理，有效减少了数据暴露在公共网络的机会，保护了数据隐私。
参考：
2020十大边缘计算开源项目
几款开源边缘计算平台

其他概念
（MEC）移动边缘计算？多接入边缘计算
屏蔽双绞线 (STP， Shielded Twisted Pair)
非屏蔽双绞线 (UTP， Unshielded Twisted Pair )
神经处理单元（NPU）

4 NXP实时边缘文档《Real-time Edge Software User Guide》解读

NXP edgescale
相关的三个Yocto层职责：
meta-real-time-edge 聚焦Cortex-A核上的Linux和裸金属应用编译
meta-nxp-harpoon 聚焦Cortex-A core上的RTOS编译.
meta-rtos-industrial 聚焦Cortex-M核上的RTOS编译

meta-real-time-edge/recipes-extended/real-time-edge-jailhouse 该脚本描述了如何编译运行在Cortex-A核上的 jailhouse
meta-real-time-edge/recipes-extended/real-time-edge-baremetal 该脚本描述了如何编译运行在Cortex-A核上的裸金属应用

Harpoon提供了开发运行在一个或多个Cortex-A核上的实时应用的环境，该RTOS与linux并行运行

PTP部分可以参考该文档 4.3.5 Quick Start for IEEE 1588

安装网络配置工具：
参考 5.4.2.2 Installing Netopeer2-cli on Ubuntu18.04

  1. 安装依赖包
    apt install -y git cmake build-essential bison autoconf dh-autoreconf flex
    apt install -y libavl-dev libprotobuf-c-dev protobuf-c-compiler zlib1g-dev
    apt install -y libgcrypt20-dev libssh-dev libev-dev libpcre3-dev

  2. 安装 libyang --下载会慢一些
    $ git clone https://github.com/CESNET/libyang.git
    $ cd libyang
    $ git checkout v1.0-r4 -b v1.0-r4
    $ mkdir build && cd build
    $ cmake -DCMAKE_INSTALL_PREFIX:PATH=/usr …
    $ make && make install

  3. 安装 sysrepo (v0.7.8) --编译时间会久一些
    $ git clone https://github.com/sysrepo/sysrepo.git
    $ cd sysrepo
    $ git checkout v0.7.8 -b v0.7.8
    $ mkdir build && cd build
    $ cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX:PATH=/usr …
    $ make && make install

  4. 安装 libnetconf2
    $ git clone https://github.com/CESNET/libnetconf2.git
    $ cd libnetconf2
    $ git checkout v0.12-r2 -b v0.12-r2
    $ mkdir build && cd build
    $ cmake -DCMAKE_INSTALL_PREFIX:PATH=/usr …
    $ make && make install

  5. 安装 protobuf: – 编译最久
    $ git clone https://github.com/protocolbuffers/protobuf.git
    $ cd protobuf
    $ git submodule update --init --recursive
    $ ./autogen.sh
    $ ./configure
    $ make && make install
    $ sudo ldconfig # refresh shared library cache.

  6. 安装 Netopeer2-cli(v0.7-r2):
    $ git clone https://github.com/CESNET/Netopeer2.git
    $ cd Netopeer2
    $ git checkout v0.7-r2 -b v0.7-r2
    $ cd cli
    $ cmake -DCMAKE_INSTALL_PREFIX:PATH=/usr .
    $ make && make install

Austin_2020
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
边缘计算参考框架3.0(2018年)
12-17
IEEE与ECC(边缘计算联盟)达成战略合作 双方将在标准、技术、产业孵化等领域合作 在本次大会上也发布了《边缘计算参考架构3.0》和《边缘计算与云计算协同白皮书》。 在《边缘计算参考架构2.0》（2017年）的基础上，边缘计算产业联盟完成了《边缘计算参考架构3.0》（2018年），3.0版本继续以ISO/IEC/IEEE 42010:2011架构定义国际标准为指导，经过补充完善形成了商业视图、使用视图、功能视图、部署视图等内容。
边缘计算参考架构2.0
05-01
1.1模型驱动的参考架构参考架构基于模型驱动的工程方法(ModelDriven Engineering MDE)进行设计。基于模型可以将物理和数字世界的知识模型化,从而实现:·物理世界和数字世界的协作对物理世界建立实时、系统的认知模型。在数字世界预测物理世界的状态、仿真物理世界的运行、简化物理世界的重构,然后驱动物理世界优化运行。能够将物理世界的全生命周期数据与商业过程数据建立协同
边缘计算参考架构3.0(2018年)
12-03
边缘计算参考架构3.0(2018年)，由边缘计算产业联盟发布
边缘计算架构_多接入边缘计算框架与参考架构简介
weixin_39741101的博客
12-13 1919
1. 引言在2014年，欧洲电信标准化协会(European Telecommunications Standards Institute, ETSI)将边缘计算与移动通信网络融合，提出了移动边缘计算(Mobile Edge Computing， MEC)的概念，其中，“M”代表英文单词“Mobile”，MEC特指移动通信网络中的边缘计算。MEC将原本位于云数据中心的服务和功能“下沉”到...
谐云魏欢：浅谈云原生边缘计算框架演进
HarmonyCloud_的博客
07-26 581
这里可以举个设备状态管理的例子，我们可以在云端实现对边缘设备的远程控制，即在云端etcd中改变这个设备的状态，然后依靠这套框架将云端定义的设备状态同步到边缘，反过来也可以在边缘本地改变这个设备的状态，然后同步到云端。第一个案例其实前面已经讲过，18-19年，也正是KubeEdge刚开源的时候，我们是为一个移动的在线公司，在基于谐云自主可控的容器云底座的基础上，打造了一个从云到边的云边协同平台，目前这套平台正在支撑着他们全国的几十个分公司的小边缘数据中心。前文提到了应用的例子，这里再举一个边缘设备的例子。..
边缘计算框架工程与实践-阅读笔记
weixin_29898767的博客
06-08 713
边缘计算
SG-Edge: 电力物联网可信边缘计算框架关键技术——（1）
世上再无张显宗
04-13 740
论文分享
边缘计算框架EdgeX Foundry 介绍1-基本介绍
二爷的博客
06-22 1343
EdgeX Foundry 是由 Linux 基金会运营的厂商中立的开放源码项目，旨在为物联网边缘计算创建公共开放的框架。官网地址：https://www.edgexfoundry.org/官方文档地址：https://docs.edgexfoundry.org/index.htmlGitHub主页：https://github.com/edgexfoundry/edgex-go。
边缘计算框架有哪些需求1
08-08
3. 数据分析：在上传到云端之前，对采集到的设备数据进行处理和分析 4. 远程控制：接收云端下发的命令，并根据命令执行相应的动作，如修改PLC中某地址的值 5.
边缘计算参考架构1.0分享.zip_边缘计算_边缘计算 架构_边缘计算参考架构_边缘计算框架
07-14
介绍边缘计算的参考架构，是边缘计算产业联盟对外发布的规范性文件。
一个全新的边云融合平台，采用云端管理、边缘运行的方案，分成边缘计算框架（本项目）和云端管理套件两部分，支持多种部署方式
12-27
Baetyl v2 提供了一个全新的边云融合平台，采用云端管理、边缘运行的方案，分成边缘计算框架（本项目）和云端管理套件两部分，支持多种部署方式。可在云端管理所有资源，比如节点、应用、配置等，自动部署应用到边缘...
Baetyl v2一个全新边云融合平台，采用云端管理、边缘运行的方案，分成边缘计算框架和云端管理套件（本项目）两部分支持多种部署
12-27
Baetyl v2 提供了一个全新的边云融合平台，采用云端管理、边缘运行的方案，分成边缘计算框架和云端管理套件（本项目）两部分，支持多种部署方式。可在云端管理所有资源，比如节点、应用、配置等，自动部署应用到边缘...
【Kubenetes】边缘计算KubeEdge边缘端安装
Jzin的博客
05-19 111
运行keadm --cloudcore-ipport=10.20.30.40:10000 --edgenode-name=testing123 --kubeedge-version=1.5.0。如果出现mosquit错误则安装mosquit。这时候没有安全性 要通过指定token。比如已经安装了docker 才能。是云端cloudcore端口。可以看一下云端的端口使用情况。指定KubeEdge的版本。下的部分文件拷贝到边缘端。可以不指定 使用主机。运行的是10000端口。) 没用到 也比较大。
RANSAC算法概述
最新发布
点云侠的博客
05-20 450
RANSAC算法概述
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1442
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
2024第二届全国人工智能应用场景创新挑战赛
audyxiao001的博客
05-14 788
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1103
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
四非、双非计算机保研夏令营入营情况
小蒋的博客
05-19 586
厦大 信息学院，电影学院，CS，人工智能浙软（海营，预推免入场券）、工程师华东科技大学网安中国科学技术大学 先进技术研究院，空间应用工程与技术中心，信工所，软件所，计算与网络中心，计算技术研究所北京师范大学 认知神经科学与学习国家重点实验室山东大学 网络空间与安全学院，SE天津大学 智能与计算机学部华中师范大学 计算机学院、大数据北航计算机南开计算机，SE吉大计算机、SE、人工智能湖南信息山大计院（不发offer），网安成电计算机，网安。
长江商学院隽永参访实在智能，沉浸体验实在Agent
SHIZAIZHINENG的博客
05-16 541
长江隽永是中国首个全方位关注并赋能“她价值”的女性成长平台，此次参访实在智能，旨在深入学习并交流最前沿的Agent技术，引导企业进行科学决策和组织变革，从而帮助企业从个体成长跃升为具有全球视野的数字化领导者。随着数字化技术的不断发展，人工智能、虚拟现实等新技术的的应用已经深入社会的方方面面，并在不断地释放着创新的活力，AI+RPA技术的涌现，外加人力成本的大幅度增加，使得企业对智能数字员工的服务需求越来越大。实在智能创始人、CEO孙林君和实在伙伴一同接待。
2021电力行业边缘计算统一边缘计算框架技术规范.docx
08-12
2021年电力行业边缘计算统一边缘计算框架技术规范.docx是电力行业为了推进边缘计算的发展而制定的技术规范文件。边缘计算是指将数据处理、存储和计算能力尽可能地移到数据产生源头附近，以减少数据传输延迟和网络带宽的消耗，提高数据处理效率和响应速度。 该技术规范文件主要包含以下几个方面的内容： 1. 边缘计算框架的设计原则：规范文件明确了边缘计算框架的设计原则，包括支持跨多个设备和技术的互操作性、具备可扩展性和灵活性、保证数据的安全性和隐私保护等。 2. 边缘节点的部署与管理：规范文件详细描述了边缘节点的部署方式和管理方法，包括节点的选择标准、硬件配置要求、软件安装和配置等。同时，还规定了节点的监测、维护和升级等管理流程。 3. 边缘计算应用的开发与部署：规范文件指导了边缘计算应用的开发和部署流程，包括应用程序的编写、调试和测试，以及应用的打包、发布和部署等。为了提高应用的可靠性和安全性，规范还提供了安全验证和应用权限控制的相关建议。 4. 数据通信和网络架构：规范文件详细介绍了边缘计算中的数据通信和网络架构，包括边缘节点之间的通信方式、数据传输的协议和算法、网络拓扑的设计和优化等。同时，规范文件还强调了网络安全的重要性，提供了一些网络安全措施的指导和建议。 总而言之，2021电力行业边缘计算统一边缘计算框架技术规范.docx是电力行业为了推进边缘计算技术的应用和发展而制定的技术规范文件，旨在建立一套统一的边缘计算框架和标准，提供边缘计算的设计、部署和管理指南，以更好地满足电力行业对数据处理和存储的需求，提高能源管理和电力系统的效率和安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值