华为机器学习服务(ML Kit) 提供机器学习套件,为开发者应用机器学习能力开发各类应用提供优质体验。得益于华为长期技术积累,ML Kit 为开发者提供简单易用、服务多样、技术领先的机器学习能力,助力开发者更快更好的开发各类 AI 应用。
使用这个 SDK 接入相机人像模式。
适合人群: 对华为 HMS Core 有兴趣的技术人员
简介
HwCameraKit 为开发者提供了一套兼容 EMUI 的相机能力开放接口,开发者可以通过 HwCameraKit 使自己的应用快速接入华为相机的私有能力,扩展应用的拍摄功能,为用户提供更好拍摄体验。
人像模式为 HwCameraKit 开放的多种相机模式其中之一,它将允许您:
- 获取华为相机的人像拍摄能力,包括背景虚化、环境光、瘦脸,皮肤光滑、调色等能力;
- 提供相机模式高级编程接口,简化相机应用开发,并借助 IDE 工具快速接入上述能力。
关于本次 CodeLab
你将建立什么
在本次 CodeLab 中,您将使用 HwCameraKit 建立一款 Android 相机应用程序,使其可以获得华为相机的人像拍摄功能,实现人像的虚化、美肤等效果。普通拍摄(左) VS 人像模式开启虚化(右)
你会学到什么
- 使用 HwCameraKit IDE 高效集成华为相机开放能力
- 熟悉 HwCameraKit 基本开发模式
你需要什么
硬件要求
- 开发计算机(台式机或笔记本电脑)
- 操作系统为 EMUI10.0 及以上版本的华为手机
软件要求
- JAVA JDK 安装包
- Android SDK 包
- HwCameraKit IDE 工具:DevEco
# 申请 Camera 相关权限Duration: 0:05 1. 在工程的 Manifest 文件中添加相关权限:
<uses-permission android:name="android.permission.CAMERA"/><uses-permission android:name="android.permission.RECORD_AUDIO"/><uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
- 动态申请相关权限:
private static final String [] PERMISSIONS_ARRAY = new String[] { Manifest.permission.WRITE_EXTERNAL_STORAGE, Manifest.permission.CAMERA, Manifest.permission.RECORD_AUDIO, Manifest.permission.ACCESS_FINE_LOCATION};private static List<String> permissionsList = new ArrayList<>(PERMISSIONS_ARRAY.length);/** * 动态请求 WRITE_EXTERNAL_STORAGE CAMERA RECORD_AUDIO 权限 * * @param activity 应用 activity */public static void requestPermission (final Activity activity) { for (String permission : PERMISSIONS_ARRAY) { if (ContextCompat.checkSelfPermission(activity, permission) != PackageManager.PERMISSION_GRANTED) { permissionsList.add(permission); }} ActivityCompat.requestPermissions(activity, permissionsList.toArray(new String [permissionsList.size()]), REQUEST_CODE_ASK_PERMISSIONS);}
集成 HwCameraKit 开放能力
Duration: 0:60通过 IDE 提供的功能卡片,可以快速获取示例代码并将其添加到工程中,以人像模式为例,找到人像能力卡片:可通过 Tools->EMUI Kits->Kit Assistant->Camera->Portrait Mode 来找到该卡片。
提示:本次 Codelabs 提供了配套的 app 开发工程,请使用 IDE 工具导入,并根据如下步骤,实现提供的配套工程中带有/* TODO */注释的方法,从而快速集成人像模式。
步骤 1 模式创建:获取 CameraKit 实例,创建人像模式
private @Mode.Type int mCurrentModeType;private CameraKit mCameraKit;private ModeCharacteristics mModeCharacteristics;private void createMode() { mCameraKit = CameraKit.getInstance(getApplicationContext()); if (mCameraKit == null) { Log.e(TAG, "This device does not support CameraKit!"); } /** Query camera id list*/ String[] cameraLists = mCameraKit . getCameraIdList (); if ((cameraLists != null) && (cameraLists.length > 0)) { Log.i(TAG, "Try to use camera with id " + cameraLists[0]); /** Query supported modes of this device*/ int[] modes = mCameraKit . getSupportedModes (cameraLists[0]); if (!Arrays.stream(modes).anyMatch((i) -> i == mCurrentModeType)) { Log.w(TAG, "Current mode is not supported in this device!"); return; } mCameraKit.createMode(cameraLists[0], mCurrentModeType, mModeStateCallback, mCameraKitHandler); }}
步骤 2 配置模式:配置模式的状态回调,数据回调及处理这些回调的 Handler,以及预览、拍照分辨率等参数
从 mModeStateCallback 的 onCreated 回调后,可从入参可获得人像 Mode 实例
/** 在 onCreated 回调中获取 mode 对象,然后以行为的状态回调和数据回调及对应的线程为入参,初始化 ModeConfig.Builder,配置预览的 surface 和拍照的大小,通过 configure 命令将配置项设置到 mMode 中,进行模式的激活*/private void configMode() { Log.i(TAG, "configMode begin"); /** Query supported preview size*/ List<Size> previewSizes = mModeCharacteristics.getSupportedPreviewSizes(SurfaceTexture.class); /** Query supported capture size*/ List<Size> captureSizes = mModeCharacteristics.getSupportedCaptureSizes(ImageFormat.JPEG); Log.d(TAG, "configMode: captureSizes = " + captureSizes.size() + ";previewSizes=" + previewSizes.size()); /** Use the first one or default 4000x3000*/ mCaptureSize = captureSizes.stream().findFirst().orElse(new Size(4000, 3000)); /** Use the same ratio with preview*/ mPreviewSize = previewSizes.stream().filter((size) -> Math.abs((1.0f * size.getHeight() / size.getWidth()) - (1.0f * mCaptureSize.getHeight() / mCaptureSize.getWidth())) < 0.01).findFirst().get(); Log.i(TAG, "configMode: mCaptureSize = " + mCaptureSize + ";mPreviewSize=" + mPreviewSize); /** Update view*/ runOnUiThread(() -> mTextureView.setAspectRatio(mPreviewSize.getHeight(), mPreviewSize.getWidth())); SurfaceTexture texture = mTextureView.getSurfaceTexture(); if (texture == null) { Log.e(TAG, "configMode: texture=null!"); return; } /** Set buffer size of view*/ texture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight()); /** Get surface of texture*/ Surface surface = new Surface(texture); /** Add preview and capture parameters to config builder*/ modeConfigBuilder.addPreviewSurface(surface).addCaptureImage(mCaptureSize, ImageFormat.JPEG); /** Set callback for config builder*/ modeConfigBuilder.setDataCallback(actionDataCallback, mCameraKitHandler); modeConfigBuilder.setStateCallback(actionStateCallback, mCameraKitHandler); /** Configure mode*/ mMode.configure(); Log.i(TAG, "configMode end");}
使用构造器 ModeConfig.Builder 配置模式的状态回调及数据回调及执行回调所在的 Handler。从状态回调中,开发者可以获取如启动预览后状态变化、拍照结束状态、手动对焦结束、人脸检测结果返回等信息;从数据回调中,开发者可获取模式动作执行过程中产生数据结果(如拍照图像数据等)。还可通过 ModeConfig.Builder 配置预览 Surface 及拍照分辨率。
步骤 3 模式操作
3.1 开启预览
```java /* 在接收到到 onConfigured 回调后,说明 mode 配置成功,模式进入开启状态,此时调用 startPreview 命令开启预览。*/
private void startPreview() { mMode.startPreview();}
#### 3.2 参数设置
java/* 用户可以通过 ModeCharacteristics#getSupportedParameters 查询当前模式下支持的参数(以人像模式为例:支持背景虚化,美肤等),通过 ModeCharacteristics#getParameterRange 查询参数支持的取值范围,通过 Mode#setParameter 设置对应效果。*/
/* 设置人像虚化 */ mMode.setParameter(RequestKey.HWPORTRAITSPOTS_BOKEH, validValue);
/* 设置美肤:皮肤光滑 /int[] smoothLevels = modeCharacteristics.getSupportedBeauty(Metadata.BeautyType.HWBEAUTYSKINSMOOTH);if (smoothLevels != null && smoothLevels.length != 0) {mMode.setBeauty(Metadata.BeautyType.HWBEAUTYSKINSMOOTH,smoothLevels[smoothLevels.length - 1]);}/ 用户可以通过设计按钮等方式,调用 takePicture 进行拍照,异步通过 onImageAvailable 回调,返回照片 Image 数据。*/mMode.takePicture();
#### 步骤 4 操作 Callback
java/* 以数据回调为例,在拍照后从回调里获取图片 */private final ActionDataCallback actionDataCallback = new ActionDataCallback() { @Override public void onImageAvailable(Mode mode, int id, Image image) { super.onImageAvailable(mode, id, image); Log.d(TAG, "onImageAvailable"); new ImageSaver(image, mFile, CameraKitActivity.this).run(); }};
> 提示:除了从 ActionDataCallback 获取拍照图片等数据以外,从 ActionStateCallback 中还可获取模式动作执行过程中,执行状态结果的回调处理,如启动预览后状态变化、拍照结束状态、手动对焦结束、人脸检测结果返回等。#### 步骤 5 模式释放
java/* 应用切后台,需要将模式释放 */@Overrideprotected void onPause() { if (mBackgroundHandler != null) { mBackgroundHandler.post(new Runnable() { @Override public void run() { if (mMode != null) { mMode.release(); mMode = null; } } }); } super.onPause();}```
恭喜你
- HwCameraKit IDE 插件的安装和使用
- 利用 HwCameraKit 将华为相机开放能力接入 app
更多 HwCameraKit 相关信息请关注我们的官网:https://developer.huawei.com/consumer/cn/CameraKit
往期链接:Android | 教你如何快速集成机器学习能力内容来源:https://developer.huawei.com/consumer/cn/forum/topicview?tid=0201234569803940158&fid=3467原作者:艾罗门特
阅读全文: http://gitbook.cn/gitchat/activity/5ecbdf790f8a211365fd2f60
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。