HoloLens第三视角使用ARkit4新功能Occlusion实现人体及环境的深度遮罩

最新推荐文章于 2021-10-22 09:24:34 发布
最新推荐文章于 2021-10-22 09:24:34 发布
阅读量1.9k 收藏 1
点赞数 3
分类专栏： Hololens MR混合现实技术 Hololens开发 文章标签： ARkit ARkit4 Occlusion HoloLens 第三视角
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShanGuUncle/article/details/108126360
版权

先看效果

oc1

oc2

 

oc3

Occlusion功能解决了虚实画面合成前后深度的问题，之前虚拟画面只能显示在最前面，所以为了拍摄不穿帮，只能选人在虚景侧边及后面的视角。

https://www.bilibili.com/video/bv1Sv411y7vJ

支持人体遮罩功能的设备

适用于搭载A12仿生芯片的iOS设备，包括iPhone X、iPhone XS、iPhone XS Max、iPhone XR、iPad Pro等

支持环境遮罩功能的设备

配备激光雷达的iPad Pro及支持Google ARcore的Pixel及其他部分机型

参考工程

https://github.com/Unity-Technologies/arfoundation-samples

参考文档

https://docs.unity3d.com/Packages/com.unity.xr.arkit@4.1/manual/index.html

交流群

211031265

 

 

 

 

 

山谷大叔
关注
专栏目录
ARFoundation系列讲解 - 68 遮挡（Occlusion）
a451319296的博客
10-16 2372
一、介绍 在以前AR SDK中，虚拟物体的层级永远显示在真实物体的前面，而在AR Foundation 4.1 中包含了了 AR Occlusion Manager 在渲染图像背景时，如果虚拟内容比真实内容更接近camera时，虚拟对象会在虚拟场景渲染时遮挡真实世界。虚拟内容远离真实世界对象，虚拟内容将不会渲染到所述像素，亦即物理对象遮挡虚拟内容。 二、环境要求 1、需要支持 ARKit 或 ARCore 的移动设备 2、需要支持深度API的设备，（Android支持设备查看）;(io...
ARFoundation系列讲解 - 73 第三视角技术一
a451319296的博客
05-13 1098
一、介绍 ARFoundation有给我们提供了ARWoldMap和Collaborative Session(协同会话)两个功能，用于多人协作。但是这两个功能都有局限性。只有ARKit版本，意味着只能在苹果设备上执行。本章节将讲解如何自己封装“第三方视角”功能，让所有支持ARCore的安卓机型、所有支持ARKit的iOS机型、以及hololens设备上都能使用。 二、实现思路 1.如何校准位置？ 方案1-使用GPS定位（不推荐使用） 我们知道在室内无法使用GPS功能，设备和设备之间都无法知.
ar-occlusion:基于three.js的框架，用于具有遮挡，照明PBR渲染和物理支持的环境感知AR（cannon.js）
05-04
环保型WebXR增强现实 基于Web的框架，使用在基于增强现实中进行环境感知的渲染和交互 该框架实现了3D对象的逼真渲染，具有几何遮挡的句柄，与环境的照明相匹配，投射阴影并提供了与实际对象的物理交互。 针对Web环境，并设计了我们的解决方案，使其可在各种设备上工作，例如单眼相机设置或具有专用高质量的深度传感器的设备。 单个应用程序，即使在中端设备上也能够每秒获得20帧以上。 该框架功能的。 基于Chrome 提供的实验性草稿API 入门 从git gh repo clone tentone/ar-occlusion下载存储库 安装Node和NPM 。 深度准备与WebXR兼容的浏览器，并支持depth-estimation ， hit-test和lighting 。 通过运行npm install从NPM安装依赖项，并启动运行npm run start的代码 演算法 为了确保
Hololens 与ARkit和ARcore结合（一）
山谷大叔的博客
07-18 2811
> Hololens有空间锚点WorldAnchor记录空间信息，可以在多个Hololens设备上通过共享锚点同步， > ARkit及ARcore利用手机摄像头捕捉，感知环境，实现和Hololens相同的空间能力。 借助云锚点，创建 Android 和 iOS 用户可以共享的多人或协作型 AR 体验。 > 结合点 在ARkit/ARcore与Hololens之间可以通过扫面...
Occlusion（遮挡剔除）
weixin_30900589的博客
07-04 762
Occlusion 1.视锥体剔除（Frustum Culling） 　　根据摄像机的视见体的范围对场景模型进行剔除操作，在视见体以外的物体不被渲染，但是在视见体中的物体会以离摄像机最远的物体开始渲染，逐渐渲染靠近摄像机的物体。后渲染的物体会覆盖先前渲染的物体。 锥体剔除只剔除摄像机视角范围外的物体而对于被包含在视见体中的其他对象还是会进行渲染，即摄像机看不到的游戏对象也会进行渲染...
ARFoundation系列讲解 - 74 第三视角技术二
a451319296的博客
05-16 888
四、Socket原理 1.什么是Socket？ Socket也被翻译成为“套接字”，它是计算机之间约定的一种通信方式。一台计算机可以接收其他计算机的数据，同时也可以向其他计算机发送数据。 2.我们如何标识一台主机?如何知道我们是和主机上的具体哪个应用通信？ 这个问题TCP/IP已经帮我们解决了，（采用IP地址+端口号的方式）IP地址可以唯一标识网络中的主机，端口号可以用来区分主机中的具体的应用 3.什么是IP地址和端口号？ IP地址是主机在网络中的唯一标识，端口号是主机应用的唯一标识..
【HoloLens第三视角】ArUco Marker Detection结合iOS设备实现Hololens第三人称视角
猹先生的瓜棚
09-11 1991
使用ArUco Marker Detection为Hololens1应用实现第三人称观察视角实现第三视角官方给出的三种解决方案官方文档设备及工具准备前期准备 实现第三视角官方给出的三种解决方案 出于对HoloLens实时演示效果要求较高的目的，可以尝试使用以下方法。如果没有太高的要求，可以尝试HoloLens提供的web工具或者桌面工具投屏。 实现HoloLens的第三人称视角，官方提供了3种方...
hololens+ios第三视角dll
03-19
标题中的“hololens+ios第三视角dll”指的是在混合现实设备Microsoft Hololens与苹果iOS设备间实现第三视角功能所需的一组动态链接库（DLL）文件。DLL是Windows操作系统中用于封装特定功能的共享库，开发人员可以...
ARKit2.0新功能说明
09-03
在ARKit2.0版本中，苹果公司引入了新的功能和改进，主要集中在追踪（Tracking）和渲染（Rendering）两个方面。 追踪是AR应用中一个核心组成部分，它涉及到如何准确地将虚拟对象定位和放置在真实世界环境中。在ARKit...
swift-在Swift上使用ARKit实现太阳系
08-14
在Swift上利用ARKit实现太阳系的项目是一个结合了增强现实技术与天文知识的应用实例。ARKit是Apple的增强现实框架，它允许开发者在iOS、iPadOS设备上创建丰富的AR体验。通过集成ARKit，我们可以将虚拟内容融入到真实...
BasketBallARKit:大家好，该项目讨论了Apple在iOS11中引入的ARKit的基础知识。 请注意，ARKit仅适用于使用A9，A10，A11芯片的设备。它说明了如何使用ARKit构建基本的BasketBall应用。 全部用Swift4编写
04-27
请注意，ARKit仅支持使用A9，A10，A11芯片的设备，并且使用这些芯片的设备为： a）iPhone 6s和6s Plus b）iPhone 7和7 Plus c）iPhone SE d）iPad Pro（9.7、10.5或12.9）–第一代和第二代e）iPad（2017）f）...
ARFoundation☀️ 六、People Occlusion人物遮挡
星河造梦坊
04-17 2106
People Occlusion人物遮挡
AR-Depth Occlusion问题解决
sinat_42674663的博客
07-23 460
上一篇关于AR-Depth在Ubuntu下一些环境的安装问题 按照AR-Depth中build的操作，出现第一个问题 这里竟然要求的是至少version 4，绝望，opencv你是上天派来惩罚我的嘛！ 在CMakeLists里面将版本改成3，嗯哼，没得问题 成功编译 接下来就是运行python fusion.py 果然没有问题是不可能的，这辈子都不可能 检查原因是我的python版本太低，至少...
使用UE4基于Hololens开发MR应用
董国政的博客
09-22 3153
本篇文章讲解如何 基于UE4开发hololens的MR应用 同时也可以参考视频： 使用UE4基于Hololens开发MR应用 1.设备讲解和基本设置 首先要假定您已经体验了机身自自带的入门软件“使用技巧” 还可以在Microsoft Store 里 下载一款名为 Designing Holograms 的应用， 应用1.5G 这是微软开发的一款非常惊艳免费应用，他可以让你快速了解UX设计的基础知识， 涵盖 头部追踪和眼球追踪，手部追踪，空间意识，全息框架，空间扫面，...
ue4 HoloLens学习链接
qq_49381818的博客
10-22 382
HoloLens2微软官方开发文档（重要）：https://docs.microsoft.com/zh-cn/windows/mixed-reality/develop/unreal/unreal-development-overview?tabs=ue426%2Cmrtk%2Casa UE4开发文档：https://docs.unrealengine.com/4.26/zh-CN/SharingAndReleasing/XRDevelopment/AR/HoloLens/QuickStartEmulat
开发 ue4_利用UE4，你已经可以开发HoloLens 2应用啦
weixin_29189003的博客
01-12 861
6月4日消息，Epic宣布UE4虚幻引擎加入对HoloLens 2的原生支持，抢先体验版安装包现已支持下载，正式版(UE4.23)将于未来几个月内上线。尽管现在HoloLens 2还未正式发售，但开发者现在可以在PC端用UE4开发HoloLens 2应用，在拿到头显的时候就可以直接运行和测试。据青亭网了解，UE4对HoloLens 2的原生支持安装包采用UE4的XR框架，也就是说开发者在电脑上完成...
ar开发 ue4_Epic Games宣布UE4支持微软Hololens 2
weixin_39526564的博客
01-02 261
后续文章更新移步→微信公众号“虚幻社区”（mantra-xhsq），您的支持是我创作的动力。原文链接Epic Games今天（2019.02.25）宣布，对于Microsoft HoloLens 2的支持将从2019年5月开始发布的虚幻引擎4版本中开始。这一消息是在Epic Games创始人兼首席执行官Tim Sweeney在西班牙巴塞罗那举行的移动世界大会（MWC）的微软主题演讲中发出的。Hol...
UE4 Hololens2代开发打包安装教程总结
Deveuper的博客
06-15 6027
安装所需工具 https://docs.microsoft.com/zh-cn/windows/mixed-reality/develop/install-the-tools?tabs=unreal UE4文档Hololens流送（主机的UE4运行，Hololens中显示，一二代相同） https://docs.unrealengine.com/zh-CN/SharingAndReleasing/XRDevelopment/AR/HoloLens/QuickStartStreaming/inde.
ARFoundation入门——遮挡管理器(Android)
jhin_lx的博客
08-07 862
开发环境 Unity：2021.1.14flc1 导入Package： AR Foundation：4.1.7 ARCore XR Plugin：4.1.7 AROcclusionManager 用于管理遮挡系统 是AR Camera的组件 currentEnvironmentDepthMode public EnvironmentDepthMode currentEnvironmentDepthMode { get; } 用于获取当前环境深度测试的模式 对应的取值有 翻译下来就是从Disabled
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山谷大叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值