HoloLens2初入——PC端的Unity运行，全息投影到HL2设备中

最新推荐文章于 2024-06-07 11:21:14 发布
最新推荐文章于 2024-06-07 11:21:14 发布
阅读量5.4k 收藏 29
点赞数 8
分类专栏： Hololen 2 Unity+C#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scy261983626/article/details/108762645
版权

文章目录

HoloLens2初入——全息投影

本机环境

时间 ：2020-09-23 21.47
PC系统版本： Win10 专业版
VS版本： 2019社区版
头盔机型：Hololens2
HoloLens2系统版本： 内部体验版
Unity 版本：2019.3.x
WIN SDK ：19041.1.191206
MRTK版本：2.4
CUDA版本：10.2

初始设置

Unity中确认是否使用了最新的远程组件

  • Window>Package Manager > 确保 Windows Mixed Reality 的包是否安装 在这里插入图片描述- 确保在HL2设备中下载了最新的 Holographic Remoting 应用。可以在应用商店里面直接下载

HoloLens 2 的MRTK相关的配置

  • 运行 MARK的 配置
    在这里插入图片描述
  • 切换平台
    在这里插入图片描述
    在这里插入图片描述
  • Window>Package Manager
    如果没有使用XR SDK 确保 Windows XR插件没有安装， 因为 Windows Mixed Reality 包 不能和他一起工作。
  • 确保 Virtual Reality Supported 已选中，然后 Windows Mixed Reality 在 Virtual Reality SDKs 中
    在这里插入图片描述
    在这里插入图片描述
  • 添加MRTK的场景和配置，添加后的目录如右侧所示

在这里插入图片描述

通过USB连接实现远程全息投影

  • USB的连接方式比Wifi的方式稳定，渲染效果更好，个人建议前期入门还是使用USB来的好，因为WIFI为了稳定有一些使用的技巧。

  • 第一次连接的时候需要先把WIFI关闭
    在这里插入图片描述

  • 然后在HL2中打开 Holographic Remoting Player 的应用。将会显示 以169开头的地址。
    在这里插入图片描述
    在这里插入图片描述

  • 在Unity中输入该地址，进行连接。

在这里插入图片描述
在这里插入图片描述

  • 连接成功确认
    在这里插入图片描述
    并且HL2中的地址画面消失了
  • 连接后可以重新连接上WIFI。
  • WIFI的连接过程相似，就是在第一步不需要关闭WIFI就可以。在Unity中把USB的地址换成WIFI的地址就可以

demo效果

  • Unity画面
    黑色在HL2中是不显示的。 在这里插入图片描述

  • 前置摄像头的画面（叠加了全息的效果）
    可以看到一条一条是检测到的网格。
    在这里插入图片描述

不能实现手部关节和眼动的追踪的解决途径

见博客中另外一篇文章（2020-09-29 14.47）
远程投影条件下开启眼动追踪
这部分的内容是对于一些在远程过程中发现 手部关节功能和眼动功能不好使的情况的 调式记录。
因为我的没有问题，所以如果有出现相关问题的自己查阅下原文档
原文档

补充

  • 如果采用WIIFI连接的方式，要求在PC端能跑到60hz左右。 电脑主机与网络的连接如果采用有线连接，可以提高连接的稳定性，减少掉包的情况。（官网推荐，个人使用无线wifi确实掉包很严重，但是没有试过有限网络）（2020-09-26 19.35）
  • 遇到的一个神奇的事情，发现Unity的刷新率好像和Cpu关系很大。在工作站上跑（CPU 为 i7-4790， 4核八线程 GPU 为GTX1050）只能跑到50Hz左右，且无论我降低画面质量也好，取消与电脑屏幕不同步也好，都无法加速。但是在自己新买的轻薄笔记本上（R7 4800H ，集显，8核16线程） 却能稳定跑到120Hz。CPU核心和线程差一半，频率也差了一半多？。（2020-11-14 17.09）
  • 我擦，换了个电脑竟然连连接不稳定，掉帧，关闭Unity播放后，得重新连接远程投影的问题都一并解决了。这新的笔记本买的有价值啊。 现在用 Yoga14s 的热点作为远程连接的方式，频率为5Ghz 波段，十分流畅，纵享丝滑。（2020-11-14 17.11）
  • 好像更新了Hololens的系统后，远程连接的时候会跳出诊断信息， 是纯文字的那种类型，不是有滚动条的那种。 需要关闭的话在应用的主界面上（Holoelns上开了远程软件，但是还没有用Unity远程连接的时候）说出 disable Diagnostic 即可，注意，说的是英语，不是普通话！！（2020/12/11 15:17）
Hello,Lance
关注
  • 8
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
HoloLens2投屏设置及IP访问问题解决
sinat_37730224的博客
05-07 6650
经常会有项目要求把眼镜上的画面投屏到电脑或电视，昨天拿到的眼镜，今天试了下投屏，发现直接WiFi投屏小米电视之类的设备是不行的，下面是两种实现方案 一.使用Microsoft HoloLens进行投屏 在微软应用商店下载Microsoft HoloLens，应用是免费的，直接下载就好 2. 打开软件添加HoloLens2设备 需确保在同一局域网中，设备的IP地址在HoloLens2（网络设置或HolographicRemoting）中查看；需要注意的是先要...
Unity开发Hololens 2混合现实增强现实应用开发工具包 MRTK 2.5.4
02-26
标题中的“Unity开发Hololens 2混合现实增强现实应用开发工具包 MRTK 2.5.4”指的是使用Unity引擎开发针对Microsoft Hololens 2设备的混合现实（MR）和增强现实（AR）应用程序的过程，其中关键工具是MixedReality ...
Unity 全息投影效果 Sci Fi Hologram Shader
05-22
Unity 全息投影效果 Sci Fi Hologram Shader
hololens和电脑端的远程视频传输
11-08
hololens和电脑端的远程视频传输插件，具体可以去github上自己搜
Unity HoloLens2 MRTK 空间锚点 基础教程
最新发布
Maddie_Mo的博客
06-07 1260
MRTK 提供跨平台的输入系统、基础组件以及用于空间交互的通用构建基块。它可以帮助你加快面向 Microsoft HoloLens、Windows Mixed Reality 沉浸式 (VR) 头戴显示设备和许多其他 VR/AR 设备的应用程序开发。暂时先这样吧，如果有时间的话就会更新，实在看不明白就留言，看到我会回复的。后续再更新 MRTK 插件 相关使用（如果有时间的话）路漫漫其修远兮，与君共勉。
HoloLens 2 投屏
qq_37537702的博客
04-21 392
HoloLens 2 投屏
HoloLens 配置记录
博客
07-19 289
1、对系统的要求：https://docs.microsoft.com/zh-cn/windows/mixed-reality/using-the-hololens-emulator（其中视频可能需要翻墙） 2、启用虚拟功能：https://blog.csdn.net/qq_18427785/article/details/107386910 3、HoloLens模拟器安装：https://blog.csdn.net/qq_18427785/article/details/107405955 4、启用
如何将Hololens画面输出到电脑屏幕上
热门推荐
当代野生程序猿
04-04 1万+
研究了几天Hololens了。目前发现两种方式将Hololens设备里的显示投射到电脑屏幕上。 一、通过Microsoft Hololens: 1.首先到微软官网商店搜索Microsoft Hololens 应用并下载（直接附上地址 https://www.microsoft.com/zh-cn/p/microsoft-hololens/9nblggh4qwnx#activetab=pi...
HoloLens2投屏
SMMMMM_的博客
03-23 1706
我遇到的情况就是连接第二台设备时，一直显示不在同一网络下，后面是在同事电脑上面按照上面步骤成功连接的，如果遇到和我相同的情况，如果情况允许可以换另外一台电脑试一下~输入HoloLens设备IP码（IP码在HoloLnes设备WIFI处感叹号点击后下滑IPv4 DNS服务器处可见）（需要注意的事项为HoloLens设备和电脑是否连接的同一个局域网下，IP地址的正确性）输入IP地址后HoloLens设备会显示PIN码 将PIN码输入第一个输入框。分别需要输入PIN码，用户名，用户密码确认密码。
HoloLens2电脑投屏设置及IP访问问题解决
qq_38190562的博客
07-19 3643
https://blog.csdn.net/sinat_37730224/article/details/116494928?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162668372516780366579443%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=162668372516780366579443&biz_id
Unity2018.4.36f1+vs2017社区版开发HoloLens1环境配置+入门实例教程
qq_40894894的博客
06-30 1895
Unity2018.4.36f1+vs2017社区版开发HoloLens1环境配置+入门实例教程 1.前期准备 电脑环境配置前需要一些软硬件支持 1.Windows 10专业版或者企业版。 （1）启动win10开发人员模式 。 （2）启动Hyper-V。 （3）启用虚拟硬件。 下面的文章写的很详细，详见https://blog.csdn.net/qq_39503991/article/details/93484728 2.vs2017及Windows SDK。 推荐vs2017 社区版，无需激活，安装完毕即
【Unity Shader实战】利用凹凸纹理和边缘光模拟全息投影的效果
coffeecato的个人博客
09-02 6112
0x00 序言 项目需要模型在展示时，可以拥有类似全息投影的效果，类似一些科幻电影或者是高科技的场景。本文分析了如何利用凹凸纹理和边缘光来近似模拟这种效果。 0x01 效果图 0x02 基本概念 本次的shader部分主要修改了surface shader，其中的一些基本概念： SurfaceOutput是预定义的输出结构： struct SurfaceOutput { half
FFmpeg for Unity（PC端）
09-04
FFmpeg for Unity（PC端）是一个专为Unity游戏引擎设计的解决方案，用于在个人计算机平台上处理rtsp视频流。FFmpeg是一个强大的开源多媒体框架，它包含了一系列库和工具，能够处理音频、视频编码、解码、转码以及流...
Unity二次开发Hololens2注意事项.doc
11-10
Unity二次开发Hololens2注意事项
Android Studio 与 Unity 的交互——加载 Unity 导出的工程到 Android Studio 中
01-03
版本信息 Android Studio：（Android Studio-Help-About） ok啦！ 测试一下效果： 主要参考： 在android原生项目中嵌入unity项目的方法（AndroidStudio3） 作者：Explorerli
【U3D】Vuforia Hololens2 入门 开发 AR 踩坑 总结 Image Target
厦大文豪的博客
05-11 4125
目录配置环境配置Vuforia功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 配置环境 注意先安装win 10 SDK...
HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能
scy261983626的博客
10-03 2539
文章目录HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能引言基础环境安装DotNetWinRT包设置MRTK配置文件配置光标指示点效果图现在的中文博客很少，公司里面开发都是内部的开发手册，不往外出。自己踩坑很难受，在CSDN搬了两年砖，好歹能自己做个砖头了。 觉得能帮忙避坑的话帮忙点个赞吧，形成个闭环，还能有点心理安慰。光nuget就坑了我两天时间！！！！！！ HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能 引言 内容： 在Unity中设置眼动追踪的工程环
Unity接入Hololens-Unity配置（2）
weixin_38484443的博客
12-27 2173
Hololens入门2，Unity配置
Unity发布Hololens应用开发指南
老邓头
06-29 731
本文介绍了如何使用Unity开发和发布Hololens应用程序。通过使用Unity的强大功能和Hololens的混合现实技术，开发者能够创建出具有惊人效果和交互性的Hololens应用。本文将逐步指导您如何开始使用Unity开发Hololens应用，并分享一些实用的技巧和经验。
Unity Shader全息投影效果。
06-09
实现全息投影效果的Unity Shader可以分为以下几个步骤： 1. 在场景中创建一个Plane作为投影面，将其设置为不渲染，并且禁用光照。 2. 在Shader中定义一个包含纹理和透明度的材质，用于渲染全息投影。 3. 使用Shader中的顶点着色器将投影面上的顶点位置转换为世界空间中的位置。 4. 在片段着色器中，使用透明度值来控制投影的强度。可以使用噪声纹理来模拟全息投影的扭曲效果。 5. 为了增加真实感，可以在场景中添加适当的光源和阴影。可以使用Unity内置的光源或者自定义的光源。 以下是一个简单的Unity全息投影Shader示例： ``` Shader "Custom/Hologram" { Properties { _MainTex ("Texture", 2D) = "white" {} _Color ("Color", Color) = (1,1,1,1) _Distortion ("Distortion", Range(0.0, 1.0)) = 0.1 } SubShader { Tags {"Queue"="Transparent" "RenderType"="Opaque"} LOD 100 Pass { CGPROGRAM #pragma vertex vert #pragma fragment frag #include "UnityCG.cginc" struct appdata { float4 vertex : POSITION; }; struct v2f { float4 vertex : SV_POSITION; float2 uv : TEXCOORD0; }; sampler2D _MainTex; float4 _MainTex_ST; float4 _Color; float _Distortion; v2f vert (appdata v) { v2f o; o.vertex = UnityObjectToClipPos(v.vertex); o.uv = TRANSFORM_TEX(v.vertex.xy, _MainTex); return o; } fixed4 frag (v2f i) : SV_Target { float4 color = tex2D(_MainTex, i.uv) * _Color; float distance = length(i.vertex); float distortion = _Distortion * (1.0 / distance); float2 distortionUV = i.uv + (distortion * tex2D(_MainTex, i.uv * 10.0).rg - distortion * 0.5); float4 distortionColor = tex2D(_MainTex, distortionUV) * _Color; color = lerp(color, distortionColor, 0.5); color.a = pow(color.a, 2.0); return color; } ENDCG } } FallBack "Diffuse" } ``` 在这个Shader中，我们使用了一个包含纹理和透明度的材质，通过顶点着色器将投影面上的顶点位置转换为世界空间中的位置，然后在片段着色器中使用透明度值来控制投影的强度，并使用噪声纹理来模拟全息投影的扭曲效果。最后，我们使用lerp函数将原始颜色和扭曲颜色混合在一起，并使用pow函数来调整透明度的强度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值