PipMenuView原理讲解-车载车机手机安卓framework系统开发

已于 2023-07-20 17:56:12 修改
阅读量278 收藏 1
点赞数
分类专栏： 分屏 framework教程 文章标签： android 车载车机开发 系统开发面试 framework framework面试 Pip小窗模式 分屏自由窗口
于 2023-05-25 01:02:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/learnframework/article/details/130855898
版权
文章详细介绍了Android系统中的PipMenuView是如何创建和添加到屏幕的，包括从window添加、SurfaceFlinger图层、WindowManagerService的交互过程，以及如何通过RemoteAction和PictureInPictureParams定制悬浮窗菜单的图标和行为。
摘要由CSDN通过智能技术生成

先来了解一下的PipMenuView的是啥：

b站免费视频教程讲解：
https://www.bilibili.com/video/BV1wj411o7A9/
在这里插入图片描述

正常的情况下pip显示
在这里插入图片描述
触摸小窗pip后：
在这里插入图片描述
是否发现又多了3个按钮，但是这个窗口到底是啥呢？
这个想要知道这个画面是谁，发现dumpsys还看不出具体的窗口，最后还是通过SurfaceFlinger图层发现它的名字的：
在这里插入图片描述
知道了名字后就可以开始入手寻找。

先来看看对应的PipMenuView的创建调用堆栈

05-24 15:29:53.270   753   753 I PipDemo : attachPipMenuView
05-24 15:29:53.270   753   753 I PipDemo : java.lang.Exception
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.wm.shell.pip.phone.PhonePipMenuController.attachPipMenuView(PhonePipMenuController.java:187)
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.wm.shell.pip.phone.PhonePipMenuController.attach(PhonePipMenuController.java:164)
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.wm.shell.pip.PipTaskOrganizer.onTaskAppeared(PipTaskOrganizer.java:627)
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.wm.shell.ShellTaskOrganizer.updateTaskListenerIfNeeded(ShellTaskOrganizer.java:555)
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.wm.shell.ShellTaskOrganizer.onTaskInfoChanged(ShellTaskOrganizer.java:465)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.window.TaskOrganizer$1.lambda$onTaskInfoChanged$6$android-window-TaskOrganizer$1(TaskOrganizer.java:316)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.window.TaskOrganizer$1$$ExternalSyntheticLambda3.run(Unknown Source:4)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.os.Handler.handleCallback(Handler.java:942)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.os.Handler.dispatchMessage(Handler.java:99)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.os.Looper.loopOnce(Looper.java:201)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.os.Looper.loop(Looper.java:288)
05-24 15:29:53.270   753   753 I PipDemo : 	at android.app.ActivityThread.main(ActivityThread.java:7897)
05-24 15:29:53.270   753   753 I PipDemo : 	at java.lang.reflect.Method.invoke(Native Method)
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:548)
05-24 15:29:53.270   753   753 I PipDemo : 	at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:937)

再看看对应的window添加代码：
frameworks/base/libs/WindowManager/Shell/src/com/android/wm/shell/pip/phone/PhonePipMenuController.java

void attachPipMenuView() {
        // In case detach was not called (e.g. PIP unexpectedly closed)
        if (mPipMenuView != null) {
            detachPipMenuView();
        }
        mPipMenuView = new PipMenuView(mContext, this, mMainExecutor, mMainHandler,
                mSplitScreenController, mPipUiEventLogger);
                //注意这里调用是mSystemWindows的addView,和正常的WindowGlobal不一样哈
        mSystemWindows.addView(mPipMenuView,
                getPipMenuLayoutParams(MENU_WINDOW_TITLE, 0 /* width */, 0 /* height */),
                0, SHELL_ROOT_LAYER_PIP);
        setShellRootAccessibilityWindow();
        // Make sure the initial actions are set
        updateMenuActions();
    }
    
    frameworks/base/libs/WindowManager/Shell/src/com/android/wm/shell/common/SystemWindows.java
     /**
     * Adds a view to system-ui window management.
     */
    public void addView(View view, WindowManager.LayoutParams attrs, int displayId,
            @WindowManager.ShellRootLayer int shellRootLayer) {
        PerDisplay pd = mPerDisplay.get(displayId);
        if (pd == null) {
            pd = new PerDisplay(displayId);
            mPerDisplay.put(displayId, pd);
        }
        pd.addView(view, attrs, shellRootLayer);
    }

这里又发现是调用了PerDisplay的addView

private class PerDisplay {
        final int mDisplayId;
        private final SparseArray<SysUiWindowManager> mWwms = new SparseArray<>();

        PerDisplay(int displayId) {
            mDisplayId = displayId;
        }

        public void addView(View view, WindowManager.LayoutParams attrs,
                @WindowManager.ShellRootLayer int shellRootLayer) {
            SysUiWindowManager wwm = addRoot(shellRootLayer);//根据shellRootLayer为SHELL_ROOT_LAYER_PIP创建出对应的SysUiWindowManager，SysUiWindowManager继承WindowlessWindowManager名字即可以看出这个东西其实没有windowstate的，WindowlessWindowManager实现了IWindowSession，这里session就和以前的session接口实现完全不一样，以前都是一般直接调用wms的接口，这里全部进行了重写，这里也就说明的为啥一定要通过session而不是直接调用wms接口了，就是为了这种动态扩展
           
            final Display display = mDisplayController.getDisplay(mDisplayId);
            //构造对应的SurfaceControlViewHost，会构造出对应的Viewrootimpl
            SurfaceControlViewHost viewRoot =
                    new SurfaceControlViewHost(
                            view.getContext(), display, wwm, true /* useSfChoreographer */);
            attrs.flags |= FLAG_HARDWARE_ACCELERATED;
            viewRoot.setView(view, attrs);//这里调用了SurfaceControlViewHost的setView，其实也最后会调用ViewRootImpl的setView
            mViewRoots.put(view, viewRoot);
            setShellRootAccessibilityWindow(shellRootLayer, view);
        }
  SysUiWindowManager addRoot(@WindowManager.ShellRootLayer int shellRootLayer) {
            SysUiWindowManager wwm = mWwms.get(shellRootLayer);
            if (wwm != null) {
                return wwm;
            }
            SurfaceControl rootSurface = null;
            ContainerWindow win = new ContainerWindow();//这里直接new的一个IWindow的binder对象进行添加到wms
            try {
                //获取一个SurfaceControl来放置pipmenuview，注意这里和不一样,以前都是wms帮忙创建对应的SurfaceControl，所以这里就是为啥dumpsys window没办法看到这里的PipMenuView的窗口
                rootSurface = mWmService.addShellRoot(mDisplayId, win, shellRootLayer);
            } catch (RemoteException e) {
            }
            //通过上面的rootSurface等构造出对应的SysUiWindowManager
            wwm = new SysUiWindowManager(mDisplayId, displayContext, rootSurface, win);
            mWwms.put(shellRootLayer, wwm);
            return wwm;
        }

看看wms端的addShellRoot：

//frameworks/base/services/core/java/com/android/server/wm/WindowManagerService.java
    @Override
    public SurfaceControl addShellRoot(int displayId, IWindow client,
            @WindowManager.ShellRootLayer int shellRootLayer) {//最后目的就是获取一个可以挂载pipmenuview的SurfaceControl
      
        try {
            synchronized (mGlobalLock) {
                final DisplayContent dc = mRoot.getDisplayContent(displayId);
                if (dc == null) {
                    return null;
                }
                return dc.addShellRoot(client, shellRootLayer);
            }
        }
    }
    //frameworks/base/services/core/java/com/android/server/wm/DisplayContent.java
       SurfaceControl addShellRoot(@NonNull IWindow client,
            @WindowManager.ShellRootLayer int shellRootLayer) {
        ShellRoot root = mShellRoots.get(shellRootLayer);
       //省略
        root = new ShellRoot(client, this, shellRootLayer);//创建一个ShellRoot
        SurfaceControl rootLeash = root.getSurfaceControl();//获取一个root的SurfaceControl
         //省略
        mShellRoots.put(shellRootLayer, root);
        SurfaceControl out = new SurfaceControl(rootLeash, "DisplayContent.addShellRoot");
        return out;//把rootLeash的备份返回
    }
    //frameworks/base/services/core/java/com/android/server/wm/ShellRoot.java
ShellRoot(@NonNull IWindow client, @NonNull DisplayContent dc,
            @WindowManager.ShellRootLayer final int shellRootLayer) {
     //省略
        mClient = client;
        switch (shellRootLayer) {
            case SHELL_ROOT_LAYER_DIVIDER:
                mWindowType = TYPE_DOCK_DIVIDER;
                break;
            case SHELL_ROOT_LAYER_PIP:
                mWindowType = TYPE_APPLICATION_OVERLAY;//给出对应的window type
                break;
            default:
                throw new IllegalArgumentException(shellRootLayer
                        + " is not an acceptable shell root layer.");
        }
        //这里看到熟悉的创建了对应的windowtoken，因为有TYPE_APPLICATION_OVERLAY可以挂到层级结构树上面
        mToken = new WindowToken.Builder(dc.mWmService, client.asBinder(), mWindowType)
                .setDisplayContent(dc)
                .setPersistOnEmpty(true)
                .setOwnerCanManageAppTokens(true)
                .build();
         //这里以windowtoken为父亲创建了一个图层Shell Root Leash
        mSurfaceControl = mToken.makeChildSurface(null)
                .setContainerLayer()
                .setName("Shell Root Leash " + dc.getDisplayId())
                .setCallsite("ShellRoot")
                .build();
        mToken.getPendingTransaction().show(mSurfaceControl);
    }
    //frameworks/base/core/java/android/view/SurfaceControlViewHost.java
 /** @hide */
    public SurfaceControlViewHost(@NonNull Context c, @NonNull Display d,
            @NonNull WindowlessWindowManager wwm, boolean useSfChoreographer) {
        mWm = wwm;
        mViewRoot = new ViewRootImpl(c, d, mWm, useSfChoreographer);//创建出对应的ViewRootImpl
        addConfigCallback(c, d);//添加相关configcallback

        WindowManagerGlobal.getInstance().addWindowlessRoot(mViewRoot);//注意在调用是addWindowlessRoot哈
//省略
    }

上面代码已经清楚到了ViewRootImpl已经把对应的PipMenuView设置到了ViewRootImpl，但是好像并没有看到PipMenuView这个图层有添加到SurfaceFlinger图层，其实核心还是在ViewRootImpl

PipMenuView图层的添加到SurfaceFlinger图层的过程

以前ViewRootImpl的setView是不是有个

 res = mWindowSession.addToDisplayAsUser(mWindow, mWindowAttributes,
                            getHostVisibility(), mDisplay.getDisplayId(), userId,
                            mInsetsController.getRequestedVisibilities(), inputChannel, mTempInsets,
                            mTempControls);

注意这里的mWindowSession已经是我们的WindowlessWindowManager它对这里有进行对应的重写：


 public int addToDisplayAsUser(IWindow window, WindowManager.LayoutParams attrs,
            int viewVisibility, int displayId, int userId, InsetsVisibilities requestedVisibilities,
            InputChannel outInputChannel, InsetsState outInsetsState,
            InsetsSourceControl[] outActiveControls) {
        return addToDisplay(window, attrs, viewVisibility, displayId, requestedVisibilities,
                outInputChannel, outInsetsState, outActiveControls);
    }
    @Override
    public int addToDisplay(IWindow window, WindowManager.LayoutParams attrs,
            int viewVisibility, int displayId, InsetsVisibilities requestedVisibilities,
            InputChannel outInputChannel, InsetsState outInsetsState,
            InsetsSourceControl[] outActiveControls) {
            //注意这里就是创建了一个画面图层名字就是PipMenuView
        final SurfaceControl.Builder b = new SurfaceControl.Builder(mSurfaceSession)
                .setFormat(attrs.format)
                .setBLASTLayer()
                .setName(attrs.getTitle().toString())
                .setCallsite("WindowlessWindowManager.addToDisplay");
        attachToParentSurface(window, b);//把PipMenuView图层挂到前面说的rootSurface
        final SurfaceControl sc = b.build();
  //省略
    }
      protected void attachToParentSurface(IWindow window, SurfaceControl.Builder b) {
        b.setParent(mRootSurface);
    }

上面就已经讲解清楚了PipMenuView这个画面是怎么一回事，为啥dumpsys window看不到，但是surfaceflinger结构树可以看到
在这里插入图片描述

时序图：
在这里插入图片描述

pip展示MenuView时候app自定义相关 button原理：

app层是可以控制的：

 if (mPictureInPictureParamsBuilder == null) {
                mPictureInPictureParamsBuilder = new PictureInPictureParams.Builder();
            }
            RemoteAction action = new RemoteAction(Icon.createWithResource(this,R.mipmap.pasue),"hello","world", PendingIntent.getActivity(
                    this, 1,
                    new Intent(),
                    PendingIntent.FLAG_IMMUTABLE | PendingIntent.FLAG_UPDATE_CURRENT
            ));
            List<RemoteAction> list =new ArrayList<>();
            list.add(action);
            list.add(action);
            list.add(action);
            mPictureInPictureParamsBuilder.setActions(list);
            if (videoView != null) {

                // Calculate the aspect ratio of the PiP screen. 计算video的纵横比
                int mVideoWith = videoView.getWidth();
                int mVideoHeight = videoView.getHeight();
                Log.i("lsm","enterPiPMode mVideoWith = " + mVideoWith + " mVideoHeight = " + mVideoHeight);
                if (mVideoWith != 0 && mVideoHeight != 0) {
                    //设置param宽高比,根据宽高比例调整初始参数
                    Rational aspectRatio = new Rational(mVideoWith, mVideoHeight);
                    mPictureInPictureParamsBuilder.setAspectRatio(aspectRatio);
                }

            }

展示出来的效果如下：
在这里插入图片描述

可以看到多了3个图标，这个就是google留给app自己可以定制的接口部分
这里最主要采用的方案就是RemoteView方案，因为PipMenuView属于systemui进程
这里几个ActionView属于各个app进程自己定制的。

在这里插入图片描述

remoteview也可以响应相关的点击事件，不过都是通过pendingintent方式
具体可以参考千里马课程demo

千里马学框架
关注
专栏目录
Android SurfaceControlViewHost介绍及使用
april_12345的博客
10-18 1994
SurfaceControlViewHost android跨进程显示view
Android跨进程渲染
我是黄大仙
01-04 1251
以下是服务端的代码示例，服务端收到客户端传递过来的 displayId，hostToken，width 和 height 之后，创建 SurfaceControlViewHost，然后创建一个 view 给到 SurfaceControlViewHost ，接着将 surfacePackage 传递给客户端。在一些 3d 的应用场景，当多个应用需要显示时，就可以使用跨进程渲染，这样做的好处就是，客户端进程比较轻量，无需每个客户端都引入 3d 引擎，减少包大小，减少内存占用。
Android 第二十五章 SurfaceView
weixin_43969550的博客
05-04 1422
SurfaceView 简单使用
Android-View绘制原理(04)-生成Surface
文科壮员专栏
07-14 702
创建Surface的流程
Android分屏功能原理（基于Android12L）
最新发布
Android技术之家
03-28 1840
Android分屏功能原理（基于Android12L）分屏功能目的是为了提高用户的生产效率，提高多应用使用的便捷性；Android 很早版本就已经提供了分屏功能，不过随着版本的迭代，特别是Google开始关注Android大屏设备的用户使用体验，内部的实现逻辑也和以前有很大的差别值得注意的是原生Android分屏功能只允许在任务管理器中选择分屏应用，如果应用未打开过，就无法分屏Android13上...
高通车机Android车载影像系统-EVS
09-20
综上所述，【高通车机Android车载影像系统-EVS】是一个综合了先进图像处理技术、硬件适应性、易用性和安全性的车载影像解决方案，它在Android车机系统中扮演着至关重要的角色，为汽车制造商和开发者提供了强大而灵活...
参考资料-车载手机充电器电路原理图.zip
01-17
车载手机充电器是现代汽车生活中的常见设备，它利用汽车的电源系统为手机提供充电功能。这份参考资料——“车载手机充电器电路原理图.zip”包含了详细的电路设计信息，特别是其中的“车载手机充电器电路原理图.pdf”...
行业资料-交通装置-一种基于手机的汽车车载遥控钥匙系统.exe
08-13
行业资料-交通装置-一种基于手机的汽车车载遥控钥匙系统.exe
09-12别克新君越车载主机系统升级版本，Ver6101.zip
12-26
【车载主机系统升级详解】 别克新君越的车载主机系统是车辆智能互联的重要组成部分，它集成了多媒体、导航、通信、娱乐等多种功能，为驾驶者提供了便捷的车内体验。这款车型的车载主机系统在Ver6101的升级版本中，...
诺威达车机车载导航睿志诚安卓rom刷机包
08-29
诺威达车机车载导航睿志诚安卓ROM刷机包是一种专为特定品牌和型号的汽车导航设备设计的系统更新工具。这个刷机包基于安卓9.1系统，旨在提供更稳定、更快的操作体验。然而，重要的是要注意，刷机过程中存在一定的风险...
surfacecontrol.java_Android的Surface的创建
weixin_31299543的博客
02-16 606
经过上面的步骤，应用程序的ViewRootImpl已经被WindowManagerService识别，并且应用程序已经与SurfaceFlinger建立连接。即创建了SurfaceComposerClient和Client对象文章开始就已经说了Surface是Window(ViewRootImpl)的UI载体，那Surface是在哪里创建的呢？Surface的创建其实一个ViewRootImpl就...
AndroidQ 图形系统（1）Surface与SurfaceControl创建分析
qq_34211365的博客
05-26 9593
本篇文章分析Surface和SurfaceControl的创建流程，在window通过addView添加到WMS时会创建ViewRootImpl，ViewRootImpl创建好之后Surface，SurfaceControl都作为全局变量被new了出来，但是仅仅是调用了它们无参构造函数创建了一个对象，其他什么也没做，那它们具体初始化在什么地方呢? ViewRootImpl的setView()方法中会调用requestLayout()准备进行View的测量，布局和绘制，即在收到下一个Vsync时执行perfo
Android6.0 SurfaceControl分析（二）SurfaceControl和SurfaceFlinger通信
kc58236582的博客
03-24 8477
上篇博客我们说到SurfaceControl会调用openTransaction和closeTransaction来一起讲所有SurfaceControl的属性等传给SurfaceFlinger。我们来看下这个过程。 一、SurfaceControl 我们先来看下SurfaceControl.java中的相关函数，都是调用了JNI函数。 public static void open
surface java程序_「Android」 Surface分析
weixin_35964164的博客
02-27 408
本篇针对Surface模块进行分析，从Java层的Activity创建开始，到ViewRoot、WindowsManagerService，再到JNI层和Native层。首先推荐一个Android源码查看的网站：http://androidxref.com/Surface的创建涉及三个部分：App 进程App需要将自己的内容显示在屏幕上，所以App负责发起Surface创建请求，创建好Surfac...
利用Surface进行同屏-Android端
沉小麟的博客
04-16 4146
逆向同屏：        第一步,单利模式；private static ScreenShot instance; private float[] dims; static ScreenShot getInstance(Context context) { synchronized (ScreenShot.class) { if (instance == null) { ...
Android6.0 SurfaceControl分析（一）SurfaceControl创建&使用 Surface创建&使用
热门推荐
kc58236582的博客
03-22 1万+
一、SurfaceControl的创建 SurfaceControl的创建是在ViewRootImpl中调用requestLayout，最后到WMS的relayoutWindow函数创建SurfaceControl对象。是通过WindowState的WindowStateAnimator对象调用createSurfaceLocked对象创建的。最后再通过outSurface传给ViewRootI
surfacecontrol.java_Android Surface理解
weixin_39710179的博客
02-16 579
结合别人的博客和自己看的代码，梳理下自己对surface的理解1.代码相关文件/AOSP/frameworks/native/libs/ui主要是bufferqueuecore与surfaceflinger中分配GraphicBufferAllocator 通过hw_get_module()&gralloc_open与硬件提供的设备交互ex: /hardware/qcom/display/...
掌握Android图像显示原理（下）
子者不语的专栏
10-03 2639
前言 前面两篇文章介绍了图像生产者和图像消费者，终于到了最后一篇——图像缓冲区，这三者一起构成了一个完整的Android图像显示系统。Android中的图像生产者OpenGL，Skia，Vulkan将绘制的数据存放在图像缓冲区中，Android中的图像消费SurfaceFlinger从图像缓冲区将数据取出，进行加工及合成。那么图像缓冲区是什么呢？它是如何创建出来的呢？又要如何使用它呢？它的存储原理是什么呢？读完这篇文章，你就能回答这些问题了。 图像缓冲区 在讲解图像的生产者时，多次提到了Surface，我们
手机车机互动：车载信息服务的未来趋势与关键技术
"本文主要探讨了手机车机互动在车载信息服务中的重要地位和发展前景，分析了手机车机互动的主要应用模式和技术趋势，并针对现有车载信息服务的挑战进行了深入讨论。" 手机车机互动是当前车载信息服务领域的一个关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

千里马学框架

帮助你了，就请我喝杯咖啡

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值