AR Kit初步学习总结

最新推荐文章于 2024-05-14 06:52:42 发布
最新推荐文章于 2024-05-14 06:52:42 发布
阅读量1w 收藏 12
点赞数 1
分类专栏： iOS开发 文章标签： AR-Kit

一、AR简介：

增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动.

一个最简单地AR场景实现所需要的技术以及步骤包含如下：

  1. 多媒体捕捉现实图像：如摄像头
  2. 三维建模:3D立体模型
  3. 传感器追踪:主要追踪现实世界动态物体的六轴变化，这六轴分别是X、Y、Z轴位移及旋转。其中位移三轴决定物体的方位和大小，旋转三周决定物体显示的区域。
  4. 坐标识别及转换：3D模型显示在现实图像中不是单纯的frame坐标点，而是一个三维的矩阵坐标。这基本上也是学习AR最难的部分，好在ARKit帮助我们大大简化了这一过程。
  5. 除此之外，AR还可以与虚拟物体进行一些交互。

二、 ARKit概述及特点介绍：

  1. ARKit是2017年6月6日，苹果发布iOS11系统所新增框架,它能够帮助我们以最简单快捷的方式实现AR技术功能。
  2. ARKit框架提供了两种AR技术：
  3. 基于3D场景(SceneKit)实现的增强现实，
  4. 基于2D场景(SpriktKit)实现的增强现实
  5. AR效果必须要依赖于苹果的游戏引擎框架（3D引擎SceneKit，2D引擎SpriktKit），主要原因是游戏引擎才可以加载物体模型。
  6. 虽然ARKit框架中视图对象继承于UIView，但是由于目前ARKit框架本身只包含相机追踪，不能直接加载物体模型，所以只能依赖于游戏引擎加载ARKit

<p> 开发环境：</p>

  1. Xcode版本：Xcode9及以上
  2. iOS系统:iOS11及以上
  3. iOS设备要求：处理器A9及以上（iPhone6s 、iPhone6sPlus、iPhone7 iPhone7Plus、iPhoneSE、iPad Pro(9.7、10.5、12.9)、iPad(2017))
  4. MacOS系统：10.12.4及以上 (安装Xcode9对Mac系统版本有要求)

三、ARKit框架简介:

ARKit并不是一个独立就能够运行的框架，而是必须要SceneKit一起用才可以，换一句话说，如果只有ARKit,而没有SceneKit，那么ARKit和一般的相机没有任何区别。</br>

相机捕捉现实世界图像，由ARKit来实现；在图像中显示虚拟3D模型，由SceneKit来实现。</br>

继承关系：ARKit框架中中显示3D虚拟增强现实的视图ARSCNView继承于SceneKit框架中的SCNView,而SCNView又继承于UIKit框架中的UIView;</br>

UIView的作用是将视图显示在iOS设备的window中，SCNView的作用是显示一个3D场景，ARScnView的作用也是显示一个3D场景，只不过这个3D场景是由摄像头捕捉到的现实世界图像构成</br>

ARSCNView只是一个视图容器，它的作用是管理一个ARSession</br>

在一个完整的虚拟增强现实体验中，ARKit框架只负责将真实世界画面转变为一个3D场景，这一个转变的过程主要分为两个环节：由ARCamera负责捕捉摄像头画面，由ARSession负责搭建3D场景。</br>

ARKit在3D现实场景中添加虚拟物体使用的是父类SCNView的功能，这个功能早在iOS8时就已经添加（SceneKit是iOS8新增），ARSCNView所有跟场景和虚拟物体相关的属性及方法都是自己父类SCNView的。</br>

图片 1.png

四、ARKit工作原理及工作流程

ARKit提供两种虚拟增强现实视图，他们分别是3D效果的ARSCNView和2D效果的ARSKView。无论是使用哪一个视图都是用了相机图像作为背景视图，而这一个相机的图像就是由<ARKit>框架中的相机类ARCamera来捕捉的。</br>

ARSCNView与ARCamera两者之间并没有直接的关系，它们之间是通过AR会话，也就是ARKit框架中非常重量级的一个类ARSession来搭建沟通桥梁的。</br>

要想运行一个ARSession会话，你必须要指定一个称之为ARSessionConfiguration（会话追踪配置）的对象,ARSessionConfiguration的主要目的就是负责追踪相机在3D世界中的位置以及一些特征场景的捕捉（例如平面捕捉）。</br>

ARSessionConfiguration是一个父类，为了更好的看到增强现实的效果，苹果官方建议我们使用它的子类ARWorldTrackingSessionConfiguration，该类只支持A9芯片之后的机型，也就是iPhone6s之后的机型。</br>

图片 2.png

ARSession搭建沟通桥梁的参与者主要有两个ARWorldTrackingSessionConfiguration与ARFrame。</br>

ARWorldTrackingSessionConfiguration（会话追踪配置）的作用是跟踪设备的方向和位置,以及检测设备摄像头看到的现实世界的表面。它的内部实现了一系列非常庞大的算法计算以及调用了你的iPhone必要的传感器来检测手机的移动及旋转甚至是翻滚。</br>

当ARWorldTrackingSessionConfiguration计算出相机在3D世界中的位置时，它本身并不持有这个位置数据，而是将其计算出的位置数据交给ARSession去管理，而相机的位置数据对应的类就是ARFrame。</br>

ARSession类一个属性叫做currentFrame，维护的就是ARFrame这个对象。</br>

ARCamera只负责捕捉图像，不参与数据的处理。它属于3D场景中的一个环节，每一个3D Scene都会有一个Camera，它觉得了我们看物体的视野。</br>

图片 3.png

ARKit框架工作流程：

  1. ARSCNView加载场景SCNScene
  2. SCNScene启动相机ARCamera开始捕捉场景
  3. 捕捉场景后ARSCNView开始将场景数据交给Session
  4. Session通过管理ARSessionConfiguration实现场景的追踪并且返回一个ARFrame
  5. 给ARSCNView的scene添加一个子节点（3D物体模型）
图片 4.png

ARSessionConfiguration捕捉相机3D位置的意义就在于能够在添加3D物体模型的时候计算出3D物体模型相对于相机的真实的矩阵位置，在3D坐标系统中，有一个世界坐标系和一个本地坐标系。类似于UIView的Frame和Bounds的区别。

五、ARKit全框架API类图介绍：

<ARKit>框架中所有的API

图片 5.png
5.1、ARAnchor

ARAnchor表示一个物体在3D空间的位置和方向（ARAnchor通常称为物体的3D锚点，有点像UIKit框架中CALayer的Anchor）, ARFrame表示的也是物体的位置和方向，但是ARFrame通常表示的是AR相机的位置和方向以及追踪相机的时间，还可以捕捉相机的帧图片。也就是说ARFrame用于捕捉相机的移动，其他虚拟物体用ARAnchor

//标识符
@property (nonatomic, readonly) NSUUID *identifier;

//锚点的旋转变换矩阵，定义了锚点的旋转、位置、缩放。是一个4x4的矩阵（读者可以自行科普什么叫4x4矩阵）
@property (nonatomic, readonly) matrix_float4x4 transform;

//构造方法,一般我们无需构造。因为添加一个3D物体时ARKit会有代理告知我们物体的锚点
- (instancetype)initWithTransform:(matrix_float4x4)transform;
5.2、ARCamera

ARCamera是一个相机，它是连接虚拟场景与现实场景之间的枢纽。在ARKit中，它是捕捉现实图像的相机，在SceneKit中它又是3D虚拟世界中的相机。
一般我们无需去创建一个相机，因为当我们初始化一个AR试图时，他会为我们默认创建一个相机，而且这个相机就是摄像头的位置，同时也是3D世界中的原点所在（x=0,y=0,z=0）

@interface ARCamera : NSObject <NSCopying>

/**
 4x4矩阵表示相机位置，同ARAnchor
 */
@property (nonatomic, readonly) matrix_float4x4 transform;

/**
相机方向（旋转）的矢量欧拉角
分别是x/y/z
 */
@property (nonatomic, readonly) vector_float3 eulerAngles;

/**
 相机追踪状态（在下方会有枚举值介绍）
 */
@property (nonatomic, readonly) ARTrackingState trackingState NS_REFINED_FOR_SWIFT;

/**
追踪运动类型
 */
@property (nonatomic, readonly) ARTrackingStateReason trackingStateReason NS_REFINED_FOR_SWIFT;

/**
相机曲率（笔者有点费解，反复揣摩应该是与焦距相关参数）
3x3矩阵
 fx 0   px
 0  fy  py
 0  0   1
 */
@property (nonatomic, readonly) matrix_float3x3 intrinsics;

/**
摄像头分辨率
 */
@property (nonatomic, readonly) CGSize imageResolution;

/**
投影矩阵
*/
@property (nonatomic, readonly) matrix_float4x4 projectionMatrix;

/**
创建相机投影矩阵
 */
- (matrix_float4x4)projectionMatrixWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation zNear:(CGFloat)zNear zFar:(CGFloat)zFar;

@end

//相机追踪状态枚举
typedef NS_ENUM(NSInteger, ARTrackingState) {

    /** 不被允许 */
    ARTrackingStateNotAvailable,

    /** 最小 */
    ARTrackingStateLimited,

    /** 正常. */
    ARTrackingStateNormal,
} NS_REFINED_FOR_SWIFT;

/**
 追踪运动类型
 */
API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(macos, watchos, tvos)
typedef NS_ENUM(NSInteger, ARTrackingStateReason) {
    /** 无. */
    ARTrackingStateReasonNone,

    /** 运动. */
    ARTrackingStateReasonExcessiveMotion,

    /** 脸部捕捉. */
    ARTrackingStateReasonInsufficientFeatures,
} NS_REFINED_FOR_SWIFT;
5.3、ARError

ARError是一个描述ARKit错误的类，这个错误来源于几个方面，例如设备不支持，或者当相机常驻后台时ARSession会断开等问题

//作用域，一般会表示是哪一个类出现问题
NSString *const ARErrorDomain;

//错误码描述  100：不支持会话追踪配置，主线由于A9芯片以下的机型会报错   101：失活状态 102：传感器故障  200：追踪失败
typedef NS_ERROR_ENUM(ARErrorDomain, ARErrorCode) {
    /** Unsupported session configuration. */
    ARErrorCodeUnsupportedConfiguration   = 100,

    /** A sensor required to run the session is not available. */
    ARErrorCodeSensorUnavailable          = 101,

    /** A sensor failed to provide the required input. */
    ARErrorCodeSensorFailed               = 102,

    /** World tracking has encountered a fatal error. */
    ARErrorCodeWorldTrackingFailed        = 200,
};
5.4、ARFrame

ARFrame主要是追踪相机当前的状态，这个状态不仅仅只是位置，还有图像帧及时间等参数

@interface ARFrame : NSObject <NSCopying>

/**
时间戳.
 */
@property (nonatomic, readonly) NSTimeInterval timestamp;

/**
 缓冲区图像帧
 */
@property (nonatomic, readonly) CVPixelBufferRef capturedImage;

/**
相机（表示这个ARFrame是哪一个相机的，iPhone7plus有两个摄像机）
 */
@property (nonatomic, copy, readonly) ARCamera *camera;

/**
 返回当前相机捕捉到的锚点数据（当一个3D虚拟模型加入到ARKit中时，锚点值得就是这个模型在AR中的位置）
 */
@property (nonatomic, copy, readonly) NSArray<ARAnchor *> *anchors;

/**
灯光，详情可见本章节ARLightEstimate类介绍（指的是灯光强度 一般是0-2000，系统默认1000）
 */
@property (nonatomic, copy, nullable, readonly) ARLightEstimate *lightEstimate;

/**
特征点（应该是捕捉平地或者人脸的，比较苹果有自带的人脸识别功能）
 */
@property (nonatomic, nullable, readonly) ARPointCloud *rawFeaturePoints;

/**
根据2D坐标点搜索3D模型，这个方法通常用于，当我们在手机屏幕点击某一个点的时候，可以捕捉到这一个点所在的3D模型的位置，至于为什么是一个数组非常好理解。手机屏幕一个是长方形，这是一个二维空间。而相机捕捉到的是一个由这个二维空间射出去的长方体，我们点击屏幕一个点可以理解为在这个长方体的边缘射出一条线，这一条线上可能会有多个3D物体模型
point：2D坐标点（手机屏幕某一点）
ARHitTestResultType：捕捉类型  点还是面
(NSArray<ARHitTestResult *> *)：追踪结果数组  详情见本章节ARHitTestResult类介绍

 */
- (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;

/**
相机窗口的的坐标变换（可用于相机横竖屏的旋转适配）
 */
- (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;

@end
5.5、ARHitTestResult

ARHitTestResult：点击回调结果，这个类主要用于虚拟增强现实技术（AR技术）中现实世界与3D场景中虚拟物体的交互。 比如我们在相机中移动。拖拽3D虚拟物体，都可以通过这个类来获取ARKit所捕捉的结果。

//捕捉类型枚举
typedef NS_OPTIONS(NSUInteger, ARHitTestResultType) {
    /** 点. */
    ARHitTestResultTypeFeaturePoint              = (1 << 0),

    /** 水平面 y为0. */
    ARHitTestResultTypeEstimatedHorizontalPlane  = (1 << 1),

    /** 已结存在的平面. */
    ARHitTestResultTypeExistingPlane             = (1 << 3),

    /** 已结存在的锚点和平面. */
    ARHitTestResultTypeExistingPlaneUsingExtent  = (1 << 4),
} NS_SWIFT_NAME(ARHitTestResult.ResultType);

/**
捕捉类型
 */
@property (nonatomic, readonly) ARHitTestResultType type;

/**
 3D虚拟物体与相机的距离（单位：米）
 */
@property (nonatomic, readonly) CGFloat distance;

/**
本地坐标矩阵（世界坐标指的是相机为场景原点的坐标，而每一个3D物体自身有一个场景，本地坐标就是相对于这个场景的坐标）类似于frame和bounds的区别
 */
@property (nonatomic, readonly) matrix_float4x4 localTransform;

/**
世界坐标矩阵
 */
@property (nonatomic, readonly) matrix_float4x4 worldTransform;

/**
 锚点（3D虚拟物体，在虚拟世界有一个位置，这个位置参数是SceneKit中的SCNVector3：三维矢量），而锚点anchor是这个物体在AR现实场景中的位置，是一个4x4的矩阵
 */
@property (nonatomic, strong, nullable, readonly) ARAnchor *anchor;

@end
5.6、ARLightEstimate

ARLightEstimate是一个灯光效果，它可以让你的AR场景看起来更加的好

@interface ARLightEstimate : NSObject <NSCopying>

/**
灯光强度  范围0-2000 默认1000
 */
@property (nonatomic, readonly) CGFloat ambientIntensity;

@end
5.7、ARPlaneAnchor

ARPlaneAnchor是ARAnchor的子类，笔者称之为平地锚点。ARKit能够自动识别平地，并且会默认添加一个锚点到场景中，当然要想看到真实世界中的平地效果，需要我们自己使用SCNNode来渲染这个锚点，锚点只是一个位置。

/**
平地类型，目前只有一个，就是水平面
 */
@property (nonatomic, readonly) ARPlaneAnchorAlignment alignment;

/**
3轴矢量结构体，表示平地的中心点  x/y/z
 */
@property (nonatomic, readonly) vector_float3 center;

/**
3轴矢量结构体，表示平地的大小（宽度和高度）  x/y/z
 */
@property (nonatomic, readonly) vector_float3 extent;

@end
5.8、ARPointCloud

ARPointCloud：点状渲染云，主要用于渲染场景

@interface ARPointCloud : NSObject <NSCopying>

/**
 点的数量
 */
@property (nonatomic, readonly) NSUInteger count;

/**
每一个点的位置的集合（结构体带*表示的是结构体数组）
 */
@property (nonatomic, readonly) const vector_float3 *points;

@end
5.9、 ARSCNView

AR视图， ARKit支持3D的AR场景和2D的AR场景，ARSCNView是3D的AR场景视图，该类是整个ARKit框架中唯一两个有代理的类其中之一。该类非常重要，且API较多.

@interface ARSCNView : SCNView

/**
代理
 */
@property (nonatomic, weak, nullable) id<ARSCNViewDelegate> delegate;

/**
AR会话
 */
@property (nonatomic, strong) ARSession *session;

/**
场景
 */
@property(nonatomic, strong) SCNScene *scene;

/**
是否自动适应灯光
 */
@property(nonatomic) BOOL automaticallyUpdatesLighting;

/**
返回对应节点的锚点，节点是一个3D虚拟物体，它的坐标是虚拟场景中的坐标，而锚点ARAnchor是ARKit中现实世界的坐标。
 */
- (nullable ARAnchor *)anchorForNode:(SCNNode *)node;

/**
返回对应锚点的物体
 */
- (nullable SCNNode *)nodeForAnchor:(ARAnchor *)anchor;

/**
根据2D坐标点搜索3D模型，这个方法通常用于，当我们在手机屏幕点击某一个点的时候，可以捕捉到这一个点所在的3D模型的位置，至于为什么是一个数组非常好理解。手机屏幕一个是长方形，这是一个二维空间。而相机捕捉到的是一个由这个二维空间射出去的长方体，我们点击屏幕一个点可以理解为在这个长方体的边缘射出一条线，这一条线上可能会有多个3D物体模型
point：2D坐标点（手机屏幕某一点）
ARHitTestResultType：捕捉类型  点还是面
(NSArray<ARHitTestResult *> *)：追踪结果数组  详情见本章节ARHitTestResult类介绍
数组的结果排序是由近到远
 */
- (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;

@end

//代理
#pragma mark - ARSCNViewDelegate


//代理的内部实现了SCNSceneRendererDelegate：scenekit代理 和ARSessionObserver：ARSession监听（KVO机制）
@protocol ARSCNViewDelegate <SCNSceneRendererDelegate, ARSessionObserver>
@optional

/**
自定义节点的锚点
 */
- (nullable SCNNode *)renderer:(id <SCNSceneRenderer>)renderer nodeForAnchor:(ARAnchor *)anchor;

/**
当添加节点是会调用，我们可以通过这个代理方法得知我们添加一个虚拟物体到AR场景下的锚点（AR现实世界中的坐标）
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didAddNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
将要刷新节点
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer willUpdateNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
 已经刷新节点
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didUpdateNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
 移除节点
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didRemoveNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

@end
5.10、 ARSession

ARSession是一个连接底层与AR视图之间的桥梁，其实ARSCNView内部所有的代理方法都是由ARSession来提供的。

ARSession获取相机位置数据主要有两种方式

  1. push。 实时不断的获取相机位置，由ARSession主动告知用户。通过实现ARSession的代理- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame来获取
  2. pull。 用户想要时，主动去获取。ARSession的属性currentFrame来获取
@interface ARSession : NSObject

/**
 代理
 */
@property (nonatomic, weak) id <ARSessionDelegate> delegate;

/**
指定代理执行的线程（主线程不会有延迟，子线程会有延迟），不指定的话默认主线程
 */
@property (nonatomic, strong, nullable) dispatch_queue_t delegateQueue;

/**
相机当前的位置（是由会话追踪配置计算出来的）
 */
@property (nonatomic, copy, nullable, readonly) ARFrame *currentFrame;

/**
 会话追踪配置
 */
@property (nonatomic, copy, nullable, readonly) ARSessionConfiguration *configuration;

/**
运行会话（这行代码就是开启AR的关键所在）
 */
- (void)runWithConfiguration:(ARSessionConfiguration *)configuration NS_SWIFT_UNAVAILABLE("Use run(_:options:)");

/**
运行会话，只是多了一个参数ARSessionRunOptions：作用就是会话断开重连时的行为。ARSessionRunOptionResetTracking：表示充值追踪  ARSessionRunOptionRemoveExistingAnchors：移除现有锚点
 */
- (void)runWithConfiguration:(ARSessionConfiguration *)configuration options:(ARSessionRunOptions)options NS_SWIFT_NAME(run(_:options:));

/**
暂停会话
 */
- (void)pause;

/**
添加锚点
 */
- (void)addAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(add(anchor:));

/**
移除锚点
 */
- (void)removeAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(remove(anchor:));

@end

//session代理分类两部分，一个是观察者（KVO） 一个是委托者（代理）
#pragma mark - ARSessionObserver


//session KVO观察者
@protocol ARSessionObserver <NSObject>

@optional

/**
 session失败
 */
- (void)session:(ARSession *)session didFailWithError:(NSError *)error;

/**
相机改变追踪状态
 */
- (void)session:(ARSession *)session cameraDidChangeTrackingState:(ARCamera *)camera;

/**
 session意外断开（如果开启ARSession之后，APP退到后台就有可能导致会话断开）
 */
- (void)sessionWasInterrupted:(ARSession *)session;

/**
session会话断开恢复（短时间退到后台再进入APP会自动恢复）
 */
- (void)sessionInterruptionEnded:(ARSession *)session;

@end

#pragma mark - ARSessionDelegate



@protocol ARSessionDelegate <ARSessionObserver>

@optional

/**
 更新相机位置
 */
- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame;

/**
添加锚点
 */
- (void)session:(ARSession *)session didAddAnchors:(NSArray<ARAnchor*>*)anchors;

/**
刷新锚点
 */
- (void)session:(ARSession *)session didUpdateAnchors:(NSArray<ARAnchor*>*)anchors;

/**
移除锚点
 */
- (void)session:(ARSession *)session didRemoveAnchors:(NSArray<ARAnchor*>*)anchors;

@end
5.11、ARSessionConfiguration

ARSessionConfiguration会话追踪配置，主要就是追踪相机的配置。注意：该类还有一个子类：ARWorldTrackingSessionConfiguration，它们在同一个API文件中

//会话追踪配置类
@interface ARSessionConfiguration : NSObject <NSCopying>

/**
当前设备是否支持，一般A9芯片以下设备不支持
 */
@property(class, nonatomic, readonly) BOOL isSupported;

/**
会话的对其方式，这里的对其指的是3D世界的坐标。枚举值见下方
 */
@property (nonatomic, readwrite) ARWorldAlignment worldAlignment;

/**
是否需要自适应灯光效果，默认是YES
 */
@property (nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;

@end


//世界会话追踪配置，苹果建议我们使用这个类，这个子类只有一个属性，也就是可以帮助我们追踪相机捕捉到的平地
@interface ARWorldTrackingSessionConfiguration : ARSessionConfiguration

/**
侦查类型。枚举值见下方（默认侦查平地）
 */
@property (nonatomic, readwrite) ARPlaneDetection planeDetection;

@end

追踪对其方式，这个决定了参考坐标系（参照物）

typedef NS_ENUM(NSInteger, ARWorldAlignment) {
      /* 相机位置 vector (0, -1, 0) /
      ARWorldAlignmentGravity,
      /** 相机位置及方向. vector (0, -1, 0)    heading ：(0, 0, -1) */
      ARWorldAlignmentGravityAndHeading,
      /** 相机方向. */
      ARWorldAlignmentCamera
} 

/平面检测类型*/
typedef NS_OPTIONS(NSUInteger, ARPlaneDetection) {
    / 不检测. */
    ARPlaneDetectionNone = 0,
    /** 平地检测 */
    ARPlaneDetectionHorizontal  = (1 << 0),
}

参考资料：
1，https://developer.apple.com/arkit/

  1. https://developer.apple.com/documentation/arkit
    3，https://forums.developer.apple.com/community/graphics-and-games/arkit 
    </div>
华丽的跌倒
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Vuforia+Unity】AR05-实物3D模型识别功能实现（ModelTarget ）
leoysq的博客
02-21 2238
对于3D物体的识别，可以是虚拟的也可以是实物的，但是对于虚拟的三维模型意义不大，我们完全可以把三维模型放在屏幕上截一张图，以图片识别的方式召唤数字内容，不过在虚拟现实中或许有用。因此本文探讨的技术路线主要是，生活中的实物被摄像头识别后，在对应的三维位置弹出数字内容。咱们一步一步的说。
3D数字人arkit面部捕捉简化版流程
a497257637的博客
03-24 2364
3D数字人arkit面部捕捉
2024年最全ARKit从入门到精通（2）-ARKit工作原理及流程介绍，前端面试题大全
最新发布
2401_84616533的博客
05-14 626
我可以将最近整理的前端面试题分享出来，其中包含HTML、CSS、JavaScript、服务端与网络、Vue、浏览器、数据结构与算法等等，还在持续整理更新中，希望大家都能找到心仪的工作。开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】
一文搞懂ARKit,ARCore,RealityKit和Vuforia
AlanHou的博客
11-10 2057
AR框架的一个核心是含能够理解特征的场景和各种类型的锚点。锚点有很多种，可根据特定场景来摆放3D模型 ，甚至可以真人来做距离测量（ARBodyAnchor）。并且这些框架不容忽视的优势是具有进行场景重建和人形遮挡（occlusion）的32位尝试数据。事实上，AR框架的大部分新功能都增强了AR体验质量。硬件也是如此，苹果全新的U1和R1芯片就带来了AR体验质量的跃升。今年苹果带了全新的Vision Pro头显（微软HoloLens的一大竞争对手），让我们可以通过手势、眼部追踪和声音指令来与AR场景进行交互。
ARKit初探笔记(结合SceneKit)
ScheenDuan的博客
07-08 581
ARWorldTrackingConfiguration类从6个自由度（degrees of freedom）来追踪设备的运动：具体来说，三个旋转轴（滚动，俯仰和偏航）以及三个平移轴（在X，Y和Z中的移动）ARKit的坐标系是右手坐标系（包括世界坐标系、摄像机坐标系、投影坐标系，这里的摄像机指渲染虚拟元素的摄像机），z轴指向自己，x轴向右，y轴向左。1.3D空间内的摄像机位置，假定手机相机为可移动的摄像机，所以在任意位置放置 3D 虚拟对象都会锚定在真实 3D 空间中对应的点上。
VR/AR开发资源学习.zip
04-27
"VR/AR开发资源学习.zip" 是一个专门为想要深入学习这两个领域的人准备的压缩包，包含丰富的学习材料。下面，我们将详细探讨这些资源可能涵盖的知识点。 首先，"VR和AR资源文件.pdf" 可能是一个综合性的指南，涵盖...
AR数据集 机器学习
08-10
该数据集包含遮挡和未遮挡两部分AR数据库mat格式，格式大小为32*32，共100个人，男人女人各50人， 每人13张。
ARkit：Apple Ar Kit测试
02-26
ARKit是Apple为iOS、iPadOS以及tvOS设备开发的一款增强现实（AR）开发框架，它允许开发者创建出丰富的AR体验。在本文中，我们将深入探讨ARKit的基础知识，包括其核心概念、如何使用Swift进行开发，以及ARKit的主要...
AR学习Demo
05-05
AR学习Demo是一个面向开发者和学习者的技术示例，旨在帮助用户了解并掌握增强现实（AR）技术的应用。在AR技术中，虚拟信息被叠加到真实世界之上，为用户提供了一种全新的交互体验。这个Demo可能包含了从基础到进阶的...
AR 研究学习
07-14
10. **持续学习与更新**：AR技术日新月异，关注最新的AR开发工具和技术趋势，例如SLAM（Simultaneous Localization And Mapping）定位追踪技术，以及未来的WebAR和5G对AR的影响。 通过上述知识点的学习，你可以掌握...
【iOS ARKit】2D肢体动作捕捉
weixin_37543822的博客
02-02 1402
ARKit 配置类 ARBodyTrackingConfiguration 专用于 2D、3D人体肢体检测捕捉，同时，该配置类也可以设置实现 2D 图像检测和平面检测，构建对现实环境的跟踪。为更真实地渲染虚拟元素，ARBodyTrackingConfiguration 还支持 HDR（High Dynamic Range Imaging，高动态范围成像）环境反射功能。
ARKit从入门到精通（3）-ARKit自定义实现(1)
2301_79655473的博客
04-12 837
分享一套阿里大牛整理的前端资料给大家，点击前端校招面试题精编解析大全即可获取[外链图片转存中…(img-vdptmN4l-1712866420654)]既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！[外链图片转存中…(img-HGbxrvl0-1712866420654)]由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
ARKit——图像检测跟踪
yueliangmua的博客
11-09 1420
AR的图像识别功能指导
ARKit功能初学
旭日的博客
09-08 409
ARKit 是苹果 WWDC2017 中发布的用于开发iOS平台 AR 功能的框架。AR 全称 Augmented Reality(增强现实)，是一种在摄像机捕捉到的真实世界中加入计算机程序创造的虚拟世界的技术。捕捉真实世界：ARKit 利用摄像头拍摄现实场景的画面。虚拟世界：用SceneKit来建立虚拟世界。虚拟世界与现实世界相结合：ARKit 负责将现实世界和虚拟世界的信息融合，并渲染出一个 AR 世界。
一文看懂苹果增强现实的核心开发功能ARKit
u012439969的博客
11-03 344
ARKit是一个由苹果公司开发的增强现实（AR）平台，它通过在设备的摄像头中捕捉和分析环境，将虚拟元素与现实场景结合起来，并显示在设备屏幕上。它支持光线估计、面部跟踪、虚拟物理效果和用户触摸交互等功能，并为开发人员提供了一组API，可帮助他们创建出色的 AR应用程序。ARKit 支持iOS11 和更高版本。它可以在iPhoneSE，iPhone6s 及以上型号的 iPhone，iPadPro，iPad（第5代）和 iPad mini（第5代）上使用。
ARKit从入门到精通（3）-ARKit自定义实现
2401_83703999的博客
03-29 599
基础知识是前端一面必问的，如果你在基础知识这一块翻车了，就算你框架玩的再6，webpack、git、node学习的再好也无济于事，因为对方就不会再给你展示的机会，千万不要因为基础错过了自己心怡的公司。前端的基础知识杂且多，并不是理解就ok了，有些是真的要去记。当然了我们是牛x的前端工程师，每天像背英语单词一样去背知识点就没必要了，只要平时工作中多注意总结，面试前端刷下题目就可以了。什么？你问面试题资料在哪里，这不是就在你眼前吗（滑稽。
ARKit 看这一篇就够了
无字教科书的博客
04-23 1701
ARKit 学习指南，模型加载，平面监测，骨骼监测，仿得物衣服穿戴等
iOS ARKit 三大基础能力
weixin_37543822的博客
01-16 946
ARKit 三大基础能力 ARKit 整合了 SLAM、计算机视觉、机器学习、传感器融合、表面估计、光学校准、特征匹配、非线性优化等大量低层技术，提供给开发者简洁易用的程序界面。 ARKit 提供的功能总体可以分为3个部分：运动跟踪、场景理解、渲染， 1．运动跟踪 运动跟踪可以实时跟踪用户设备在现实世界中的运动，是 ARKit 的核心功能之一，利用该功能可以实时获取用户设备的姿态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值