RK3568 Android 11 蓝牙BluetoothA2dpSink 获取用于生成频谱的PCM

已于 2024-08-29 10:14:12 修改
阅读量580 收藏 8
点赞数 15
分类专栏： android-framework android 文章标签： android pcm A2dpSink
于 2024-08-28 16:26:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ansondroider/article/details/141640643
版权

在这里插入图片描述

Android 中的 A2DP Sink

A2DP Sink 在 Android 系统中主要用于 接收 其他蓝牙设备（如手机、平板、电脑等）发送过来的 高质量的立体声音频。简单来说，它让你的 Android 设备可以充当一个 蓝牙音箱 或 耳机 的角色。

核心功能：

  • 接收音频流： 通过蓝牙协议接收来自其他设备的音频数据。
  • 解码音频： 将接收到的音频数据解码成可播放的音频格式。
  • 播放音频： 通过设备的扬声器或耳机输出解码后的音频。

应用场景：

  • 无线音箱： 将 Android 设备连接到蓝牙音箱，实现无线音乐播放。
  • 车载蓝牙： 将手机连接到车载蓝牙系统，通过车载音响播放音乐。
  • 蓝牙耳机： 将 Android 设备连接到蓝牙耳机，进行通话或听音乐。

技术实现：

  • BluetoothA2dpSink： Android 提供了 BluetoothA2dpSink 类来实现 A2DP Sink 功能。开发者可以通过这个类来管理 A2DP 连接、控制音频播放等。
  • 蓝牙配置文件： A2DP（Advanced Audio Distribution Profile）是一种蓝牙配置文件，专门用于高质量立体声音频的无线传输。

如何获取音频数据并生成音频频谱?

什么是音乐频谱?
音乐频谱是声音频率的分布图。声音是由不同频率的声波组成的，这些声波的振幅（强度）不同，就形成了不同的音色。频谱图就是将这些频率和振幅的关系用图形表示出来。
在这里插入图片描述

频谱图的组成
  • 横轴： 表示频率，通常以赫兹（Hz）为单位。频率越高，音调越高。
  • 纵轴： 表示振幅，也就是声音的强度。振幅越大，声音越响。
  • 颜色或灰度： 表示不同频率的振幅大小。颜色越深或灰度越高，表示该频率的振幅越大。
频谱图的种类
  • 线性频谱图： 频率轴按线性比例分布，适用于分析整个音频频段。
  • 对数频谱图： 频率轴按对数比例分布，更适合显示低频部分的细节，常用于音频分析。
  • 时频图： 显示声音频率随时间的变化情况，可以直观地看到声音的动态变化。
    在这里插入图片描述
总的来说

音乐频谱是了解声音的重要工具，它不仅能帮助我们更好地理解声音的本质，还能在音乐创作、音频处理等领域发挥重要作用。

在蓝牙音箱的模式下, 如何生成音频频谱?

    在打上RK提供的A2dpSink补丁后, 手机等设备可以通过蓝牙连接播放音乐, RK3568充当蓝牙音箱的角色. 在这种状态下, 系统播放音频并不是采用android上层的MediaPlayer 或 AudioTrack, 所以无法采用常规的方式来生成, 若需要获取播放器的音频频谱, 首先, 需要获得音频的PCM数据.

在蓝牙音箱模式下, 音频的播放器的位置处于android 源码的 system目录下

system/bt/btif/src/btif_avrcp_audio_track.cc

/*
 * Copyright 2015 The Android Open Source Project
 *
 * Licensed under the Apache License, Version 2.0 (the "License");
 * you may not use this file except in compliance with the License.
 * You may obtain a copy of the License at
 *
 *      http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

#define LOG_NDEBUG 1
#define LOG_TAG "bt_btif_avrcp_audio_track"

#include "btif_avrcp_audio_track.h"

#include <aaudio/AAudio.h>
#include <base/logging.h>
#include <utils/StrongPointer.h>

#include "bt_target.h"
#include "osi/include/log.h"

using namespace android;

typedef struct {
  AAudioStream* stream;
  int bitsPerSample;
  int channelCount;
  float* buffer;
  size_t bufferLength;
} BtifAvrcpAudioTrack;

#if (DUMP_PCM_DATA == TRUE)
FILE* outputPcmSampleFile;
char outputFilename[50] = "/data/misc/bluedroid/output_sample.pcm";
#endif

void* BtifAvrcpAudioTrackCreate(int trackFreq, int bitsPerSample,
                                int channelCount) {
  LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btCreateTrack freq %d bps %d channel %d ",
              __func__, trackFreq, bitsPerSample, channelCount);

  AAudioStreamBuilder* builder;
  AAudioStream* stream;
  aaudio_result_t result = AAudio_createStreamBuilder(&builder);
  AAudioStreamBuilder_setSampleRate(builder, trackFreq);
  AAudioStreamBuilder_setFormat(builder, AAUDIO_FORMAT_PCM_FLOAT);
  AAudioStreamBuilder_setChannelCount(builder, channelCount);
  AAudioStreamBuilder_setSessionId(builder, AAUDIO_SESSION_ID_ALLOCATE);
  AAudioStreamBuilder_setPerformanceMode(builder,
                                         AAUDIO_PERFORMANCE_MODE_LOW_LATENCY);
  result = AAudioStreamBuilder_openStream(builder, &stream);
  CHECK(result == AAUDIO_OK);
  AAudioStreamBuilder_delete(builder);

  BtifAvrcpAudioTrack* trackHolder = new BtifAvrcpAudioTrack;
  CHECK(trackHolder != NULL);
  trackHolder->stream = stream;
  trackHolder->bitsPerSample = bitsPerSample;
  trackHolder->channelCount = channelCount;
  trackHolder->bufferLength =
      trackHolder->channelCount * AAudioStream_getBufferSizeInFrames(stream);
  trackHolder->buffer = new float[trackHolder->bufferLength]();

#if (DUMP_PCM_DATA == TRUE)
  outputPcmSampleFile = fopen(outputFilename, "ab");
#endif
  return (void*)trackHolder;
}

void BtifAvrcpAudioTrackStart(void* handle) {
  if (handle == NULL) {
    LOG_ERROR(LOG_TAG, "%s: handle is null!", __func__);
    return;
  }
  BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);
  CHECK(trackHolder != NULL);
  CHECK(trackHolder->stream != NULL);
  LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);
  AAudioStream_requestStart(trackHolder->stream);
}

void BtifAvrcpAudioTrackStop(void* handle) {
  if (handle == NULL) {
    LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);
    return;
  }
  BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);
  if (trackHolder != NULL && trackHolder->stream != NULL) {
    LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);
    AAudioStream_requestStop(trackHolder->stream);
  }
}

void BtifAvrcpAudioTrackDelete(void* handle) {
  if (handle == NULL) {
    LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);
    return;
  }
  BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);
  if (trackHolder != NULL && trackHolder->stream != NULL) {
    LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btStartTrack", __func__);
    AAudioStream_close(trackHolder->stream);
    delete trackHolder->buffer;
    delete trackHolder;
  }

#if (DUMP_PCM_DATA == TRUE)
  if (outputPcmSampleFile) {
    fclose(outputPcmSampleFile);
  }
  outputPcmSampleFile = NULL;
#endif
}

void BtifAvrcpAudioTrackPause(void* handle) {
  if (handle == NULL) {
    LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);
    return;
  }
  BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);
  if (trackHolder != NULL && trackHolder->stream != NULL) {
    LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btPauseTrack", __func__);
    AAudioStream_requestPause(trackHolder->stream);
    AAudioStream_requestFlush(trackHolder->stream);
  }
}

void BtifAvrcpSetAudioTrackGain(void* handle, float gain) {
  if (handle == NULL) {
    LOG_DEBUG(LOG_TAG, "%s handle is null.", __func__);
    return;
  }
  // Does nothing right now
}

constexpr float kScaleQ15ToFloat = 1.0f / 32768.0f;
constexpr float kScaleQ23ToFloat = 1.0f / 8388608.0f;
constexpr float kScaleQ31ToFloat = 1.0f / 2147483648.0f;

static size_t sampleSizeFor(BtifAvrcpAudioTrack* trackHolder) {
  return trackHolder->bitsPerSample / 8;
}

static size_t transcodeQ15ToFloat(uint8_t* buffer, size_t length,
                                  BtifAvrcpAudioTrack* trackHolder) {
  size_t sampleSize = sampleSizeFor(trackHolder);
  size_t i = 0;
  for (; i <= length / sampleSize; i++) {
    trackHolder->buffer[i] = ((int16_t*)buffer)[i] * kScaleQ15ToFloat;
  }
  return i * sampleSize;
}

static size_t transcodeQ23ToFloat(uint8_t* buffer, size_t length,
                                  BtifAvrcpAudioTrack* trackHolder) {
  size_t sampleSize = sampleSizeFor(trackHolder);
  size_t i = 0;
  for (; i <= length / sampleSize; i++) {
    size_t offset = i * sampleSize;
    int32_t sample = *((int32_t*)(buffer + offset - 1)) & 0x00FFFFFF;
    trackHolder->buffer[i] = sample * kScaleQ23ToFloat;
  }
  return i * sampleSize;
}

static size_t transcodeQ31ToFloat(uint8_t* buffer, size_t length,
                                  BtifAvrcpAudioTrack* trackHolder) {
  size_t sampleSize = sampleSizeFor(trackHolder);
  size_t i = 0;
  for (; i <= length / sampleSize; i++) {
    trackHolder->buffer[i] = ((int32_t*)buffer)[i] * kScaleQ31ToFloat;
  }
  return i * sampleSize;
}

static size_t transcodeToPcmFloat(uint8_t* buffer, size_t length,
                                  BtifAvrcpAudioTrack* trackHolder) {
  switch (trackHolder->bitsPerSample) {
    case 16:
      return transcodeQ15ToFloat(buffer, length, trackHolder);
    case 24:
      return transcodeQ23ToFloat(buffer, length, trackHolder);
    case 32:
      return transcodeQ31ToFloat(buffer, length, trackHolder);
  }
  return -1;
}

constexpr int64_t kTimeoutNanos = 100 * 1000 * 1000;  // 100 ms

int BtifAvrcpAudioTrackWriteData(void* handle, void* audioBuffer,
                                 int bufferLength) {
  BtifAvrcpAudioTrack* trackHolder = static_cast<BtifAvrcpAudioTrack*>(handle);
  CHECK(trackHolder != NULL);
  CHECK(trackHolder->stream != NULL);
  aaudio_result_t retval = -1;
  //return 0;
#if (DUMP_PCM_DATA == TRUE)
  if (outputPcmSampleFile) {
    fwrite((audioBuffer), 1, (size_t)bufferLength, outputPcmSampleFile);
  }
#endif

  size_t sampleSize = sampleSizeFor(trackHolder);
  int transcodedCount = 0;
  do {
    transcodedCount +=
        transcodeToPcmFloat(((uint8_t*)audioBuffer) + transcodedCount,
                            bufferLength - transcodedCount, trackHolder);

    retval = AAudioStream_write(
        trackHolder->stream, trackHolder->buffer,
        transcodedCount / (sampleSize * trackHolder->channelCount),
        kTimeoutNanos);
    LOG_VERBOSE(LOG_TAG, "%s Track.cpp: btWriteData len = %d ret = %d",
                __func__, bufferLength, retval);
  } while (transcodedCount < bufferLength);

  return transcodedCount;
}

BtifAvrcpAudioTrackWriteData 函数中可以把PCM数据取出来用, 可以打开 DUMP_PCM_DATA 把蓝牙音频播放的PCM内容保存到本地文件char outputFilename[50] = "/data/misc/bluedroid/output_sample.pcm";中, 把文件拿出来用工具打包成WAV格式, 测试音频数据的正确性!

拿到PCM数据后, 通过算法, 便可以轻松实现音频频谱功能.

参考

ansondroider
关注
  • 15
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Android 蓝牙——A2DP协议（十一）
小旭的专栏
01-28 1915
SDK路径：frameworks/base/core/java/android/bluetooth/服务路径：packages/apps/Bluetooth/src/com/android/bluetooth/在使用协议类的时候无法找到该类，由于安卓源码中关于蓝牙协议的 Client 部分或相关接口都被 @hide 给隐藏掉了，这样 android.jar 满足不了安卓源码 framework 层开发人员的需求，可以使用反射机制或者引用 framework.jar 代替 android.jar。
Android车载蓝牙相关开发3：蓝牙音频接收器BluetoothA2dpSink
NAME_CJF的博客
09-15 3226
蓝牙音频协议不止用于车机。音频接收端如果是安卓设备，都可以使用该代理来进行操作（例：安卓智能音箱）。
Android9 蓝牙开发学习（2）——BluetoothA2dpSink
geniushorse的博客
09-15 5931
BluetoothA2dpSink 主要实现a2dp协议及其接口，主要连上后接收音频数据 BluetoothA2dpSink初始化 // 初始化 bluetoothAdapter.getProfileProxy(context, serviceListener, BluetoothProfile.A2DP_SINK); //还要实现BluetoothProfile.ServiceListener接口，在onServiceConnected中获取bluetoothA2dpSink对象 private
Android13 BluetoothA2dpSink disconnect流程分析
最新发布
liuning1985622的博客
05-10 366
调用btav_sink_interface_t的disconnect方法,，btav_sink_interface_t是一个结构体，在bt_av.h中定义，a2dp_sink.cc中实。调用A2dpSinkService的removeStateMachine方法，删除状态机。到这里A2dpSinkService的disconnet流程就分析完了。在之后就是蓝牙协议栈相关内容，在这里就不再分析了。
Android13 BluetoothA2dpSink connect流程分析
liuning1985622的博客
05-10 460
到这里A2dpSinkService的connet流程就分析完了。在之后就是蓝牙协议栈相关内容，在这里就不再分析了。
[RK3566-Android11] 关于 a2dpsink -蓝牙支持接收播放/无PIN码连接
jay547063443的博客
04-02 1025
1.蓝牙支持接收播放2.蓝牙支持无PIN码连接（不需要弹出pin配对码请求弹窗）3.蓝牙支持播放歌曲信息并应用层获取。
import android.bluetooth.BluetoothA2dpSink类需要加入什么依赖
04-25
一般来说，如果您想在Android项目中使用BluetoothA2dpSink类，需要在您的build.gradle文件中添加以下依赖项： ``` dependencies { implementation 'com.android.support:appcompat-v7:x.x.x' implementation '...
无法import android.bluetooth.BluetoothA2dpSink类是什么原因，
04-25
可能是因为您的 Android 项目中没有包含与 BluetoothA2dpSink 相关的库文件或者您在代码中没有正确地导入该类。您可以检查一下项目的配置，确保已经包含了 Bluetooth 相关的库文件，或者尝试在代码中使用 import ...
bluetootha2dpsink.h
04-28
bluetootha2dpsink.h是一个头文件，用于定义一个蓝牙音频接收器的类，该类支持使用A2DP协议接收音频流。A2DP即“Advanced Audio Distribution Profile（高级音频分发配置文件）”，是一种用于传输高质量音频的蓝牙...
Android 11 上的文件读写权限(MANAGE_EXTERNAL_STORAGE)
热门推荐
ansondroider的博客
09-02 3万+
Android 权限的变化, 几乎每个版本的SDK都会有, 其中最大的一次是在6.0时, 增加的动态权限申请。要访问管理外部存储的文件, 需增加MANAGE_EXTERNAL_STORAGE权限的申请
Android 离线文字转语音功能-TTS(Text To Speech)
ansondroider的博客
10-18 1万+
在 Android 中，TTS全称叫做 Text to Speech，从字面就能理解它解决的问题是什么，把文本转为语音服务，意思就是你输入一段文本信息，然后Android 系统可以把这段文字播报出来。这种应用场景目前比较多是在各种语音助手APP上，很多手机系统集成商内部都有内置文本转语音服务，可以读当前页面上的文本信息。
android 修改默认APN
ansondroider的博客
12-08 1万+
Settings > More > Mobile networks > Access Point Names 在此选项中, 我手中的平台,目前是没有任何选项显示的. 代码: packages/apps/Settings/src/com/android/settings/ApnSettings.java //以下代码用于构建一个列表, 从数据库中读取数据并填充到表中. //注意下面的代码有
Ubuntu 20.04编译AOSP 并启动模拟器
ansondroider的博客
04-17 1万+
平台 CPU: Intel® Core™ i7-8700 CPU @ 3.20GHz DDR: 24GB 硬盘: SSD 1TB 系统: Ubuntu 20.04 x64 概述 疫情期间居家办公, 为方便调试, 从清华镜像下载了AOSP的代码准备编译后尝试使用模拟器调试, 编译完成后, 发现模拟器启动不了, 要么卡死, 要么崩溃, 历经波折, 最终更新后得以解决, 特此记录. 环境搭建 参考, 建议以官方说明或厂商开发文档中的环境搭建说明为主 #JDK sudo add-apt-repository ppa
Android RTSP 摄像头推流
ansondroider的博客
05-03 9349
前言 Android的摄像头的功能扩展越来越丰富, 近段时间因为涉及到RTSP推送的需求, 稍微了解记录踩过的坑. 服务端 纯JAVA开发的服务端项目, 几年前用过, 时至今日, 依然好用. spydroid-ipcamera 使用高阶说明 如: 使用音频和视频->rtsp://xxx.xxx.xxx.xxx:8086?aac&h264 客户端 客户端, PC上建议用VLC, 在...
Android 讯飞离线语音听写/离线语音识别SDK
ansondroider的博客
03-14 8120
平台 Android + 讯飞离线语音SDK SDK包 下载路径及方法见讯飞官方SDK文档: 离线语音听写 Android SDK 文档 # 在开发者控制台, 可以直接下载SDK. SDK包中的文件结构 ~/Downloads/Android_esriat_exp1143_5a2b58b9$ tree . ├── assets 带UI需要用到的一些图片等资源 │ └── iflytek │ ├── recognize.xml │ ├── voice_bg.9.png │
Android 7.1 WebView 实现方式选择
ansondroider的博客
03-29 6565
平台 RK3288 + Android 7.1 说明 选项位置: 设置 > 开发者选项 > WebView实现 1.在Pixel上, 可以显示两个选项: Android System WebView 和 Chrome 尝试把Chorme 禁用后, 选项中, 仅剩下Android System WebView. 2.尝试在RK3288主板上安装Chrome, 并增加相应配置 &lt...
AI-新手玩转RKNN
ansondroider的博客
05-27 6521
RKNN 是 Rockchip npu 平台使用的模型类型，以.rknn后缀结尾的模型文件。Rockchip 提供了完整了模型转换 Python 工具，方便用户将自主研发的算法模型转换成 RKNN 模型，同时 Rockchip 也提供了C/C++和Python API 接口。
Android 11 的状态栏的隐藏
ansondroider的博客
12-12 6022
Android 11 的状态栏与导航栏较之前的版本有较大的差异, 在Android 7.0 SystemUI 状态/导航栏的隐藏与显示中所描述的部分内容已不再适用.比如, 自动隐藏的时间, 隐藏的动画, 较之前的版本已面目全非, 本文将对隐藏状态栏部分的内容进行一些补充.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值