语音搜索java_使用讯飞SDK实现语音搜索功能

昨天刚刚结束了谷歌师资培训。在准备的近三天中也学到很多东西。电子档的材料都上传到了git上，但是还有手写的技术实现不想拍照上传。所以还是写篇文章记录一下，也算是巩固了。就按照我讲的顺序来写。

先总体，再细节(我喜欢这种逻辑，更容易理解把握)。

1.总体部分[IatController.java]:

前端获取到录音文件并转为base64编码交给后端进行处理。IatController层把base64编码转换为text文本。再对得到的文本进行分词处理[findWithWordDivision()]，获取到关键词并将关键词保存到sentenceList中，再将sentenceList放入data数据中进行数据库查询。

@PostMapping(value = "/searchBySdkBase", produces = "application/json;charset=UTF-8")

public Map searchBySdkBase(String base64){

Map map=new HashMap();

base64=base64.replace(" ","+");//用空格代替+

try {

String text = this.iatService.useIatSdkBase(base64);

List sentenceList=new ArrayList();

if(text.equals("") || text == null){

map.put("info","error");

return map;

}

sentenceList=this.sentenceService.findWithWordDivision(text);

if(sentenceList == null || sentenceList.size() == 0){

map.put("info","no sentence");

return map;

}

map.put("info","success");

map.put("data",sentenceList);

return map;

}

catch (Exception e){

e.printStackTrace();

return null;

}

}

2.细节实现：

(1)在UploadUtils.java文件中：

后端将得到的base64编码通过方法uploadFileBase()变成字节数组byte [] buffer,并写入随机生成的文件中(也就是recordPath：.wav/.mp3格式文件)。然后创建.pcm格式文件路径(只是创建路径。先建个房子，再把居民塞进去)。最后返回recordPath+pcmPath(接下来会用，需要注意)。

public static String uploadFileBase(String base64,String upload,String recordPath,String pcmPath){

String newFileName=UUID.randomUUID()+".wav";//避免重名：随机生成ID

byte [] buffer=Base64.decodeBase64(base64);

File file=new File(upload,newFileName);

FileOutputStream fileOutputStream=null;

try {

if (!file.exists()) {

file.createNewFile();

}

}

catch (IOException e){

e.printStackTrace();

return null;

}

try {

System.out.println("file:"+file.getAbsolutePath());

fileOutputStream = new FileOutputStream(file);

fileOutputStream.write(buffer);

//fileOutputStream.flush();

}

catch (FileNotFoundException e){

e.printStackTrace();

}

catch (IOException e2){

e2.printStackTrace();

}

finally {

try {

fileOutputStream.flush();

fileOutputStream.close();

}

catch (IOException e){

e.printStackTrace();

}

}

recordPath="/root/uploadRecord/"+newFileName;

if(recordPath.indexOf(".wav") > 0) {

pcmPath = recordPath.substring(0, recordPath.indexOf("wav")) + "pcm";

}

else if(recordPath.indexOf(".mp3") > 0){

pcmPath = recordPath.substring(0, recordPath.indexOf("mp3")) + "pcm";

}

System.out.println("rec"+recordPath);

System.out.println("pcm"+pcmPath);

transferWavToPcm(recordPath,pcmPath,upload);

return recordPath+" "+pcmPath;

}

通过transferWavToPcm()方法，将recordPath路径下的内容转为.pcm格式的内容，并放入刚刚创建好的pcmPath里(啥样人住啥样房子)。也就是说，我们成功获得了.pcm格式的文件，符合了讯飞SDK的要求，可以使用讯飞SDK了。

public static void transferWavToPcm(String recordPath,String pcmPath,String upload){

String ffmpegPath="/usr/local/ffmpeg/bin/";

String command=new File(ffmpegPath).getAbsolutePath()+"/ffmpeg -y -i "+recordPath+" -acodec pcm_s16le -f s16le -ac 1 -ar 16000 "+pcmPath;

Runtime run=Runtime.getRuntime();

try {

Process p = run.exec(command);

//

p.getOutputStream().close();

p.getInputStream().close();

p.getErrorStream().close();

p.waitFor();

}

catch (Exception e){

e.printStackTrace();

}

finally{

run.freeMemory();

}

}

(2)IatUtils.java文件：

使用讯飞SDK将.pcm格式文件里的内容转为在上面第一大点里的text。

uploadFileBase()方法中：首先将UploadUtils.java文件中返回recordPath+pcmPath通过split()方法拆分了，拆出我们要的pcmPath。接着，讯飞SDK开始工作(开始监听)，利用管道FileChannel获得路径为pcmPath的文件里的内容，并将获得到的内容放入到byteBuffer中，再将byteBuffer里的内容倒入字节数组byte[] buffer中(其实这个地方应该只写buffer的，但是我就是喜欢这样写，不规范但对我来说很清晰)(可以想象本来要把水倒入到蓝瓶子中，但是我先把水倒入到红瓶子中，再把红瓶子里的水倒入到蓝瓶子中。但是我还不懂为什么要这样，这也是我在上一篇文章中写的觉得Java麻烦的地方)。

public String RecoginzePcmFileBase(String base) throws IOException, InterruptedException {

curResult=new StringBuilder();//当前结果

String upload="/root/uploadRecord/";

String recordPath="";

String pcmPath="";

String np="";

if(recognizer == null){

recognizer=SpeechRecognizer.createRecognizer();

recognizer.setParameter(SpeechConstant.AUDIO_SOURCE,"-1");

recognizer.setParameter(SpeechConstant.RESULT_TYPE,"json");

}

/**

* wav,mp3 transfer to pcm

*/

np = UploadUtils.uploadFileBase(base,upload,recordPath,pcmPath);//upload：文件在服务器中的位置 np=recorfPath+pcmPath

if(np != null) {

//拆分recordPath+pcmPath

recordPath = np.split(" ")[0];

pcmPath = np.split(" ")[1];

}

recognizer.startListening(recListener);//开始监听

FileChannel fc = null;

if(! pcmPath.equals("")) {

fc = new RandomAccessFile(pcmPath, "r").getChannel();

}

MappedByteBuffer byteBuffer = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size()).load();

System.out.println(byteBuffer.isLoaded());

byte[] buffer = new byte[(int) fc.size()];

if (byteBuffer.remaining() > 0) {

byteBuffer.get(buffer, 0, byteBuffer.remaining());

}

if(buffer == null || buffer.length == 0){

logger.error("no audio available");

recognizer.cancel();

}

else{

int len=buffer.length;

recognizer.writeAudio(buffer,0,len);

recognizer.stopListening();

synchronized (lock){

lock.wait();//主线程等待

}

//curResult.toString();

File wav=new File(recordPath);

File file2=new File(pcmPath);

if(wav.exists()){

wav.delete();

}

if(file2.exists()){

file2.delete();

}

return getString(curResult.toString());

}

return null;

}

结束监听。监听结果部分的recognizerResult是一个封装了JSON字符串的Java类。然后调用getResultString()方法获得JSON字符串：jsonStr。

//监听器工作

private RecognizerListener recListener=new RecognizerListener() {

@Override

public void onVolumeChanged(int i) {

logger.info("onVolumeChange enter");

}

@Override

public void onBeginOfSpeech() {

logger.info("onEndOfSpeech enter");

}

@Override

public void onEndOfSpeech() {

logger.info("onEndOfSpeech enter");

}

@Override

public void onResult(RecognizerResult recognizerResult, boolean b) {

logger.info("onResult enter");

String jsonStr=recognizerResult.getResultString();

curResult.append(jsonStr);

if(b){

synchronized (lock){

lock.notify();

}

}

}

//打印出报错信息

@Override

public void onError(SpeechError speechError) {

logger.info("onError enter");

if(null != speechError){

logger.error("onError code:"+speechError.getErrorCode()+","+ speechError.getErrorDescription(true));

}

}

@Override

public void onEvent(int i, int i1, int i2, String s) {

logger.info("onEvent enter");

}

};

那么我们最后的任务就是把这个jsonStr转为目标：text(也就是str)。

而把jsonStr转为str的第一步，居然是先把jsonStr再变回JSON(上一篇就吐槽了这个地方)。变回一个JSON对象。

因为jsonStr相当于把JSON数据打上了引号，而我们为了获取JSON中的数据，必须先把引号去掉，再拿里面的数据(key：value)。

将key为“ws”的“value”放在一个数组wsArr中，但key为“ws”的value也是一个key：value数组，所以只能再剥一层，直到剥出我们需要的value值，也就是wStr，也就是我们需要的text。//此处应该查阅讯飞官方文档https://www.xfyun.cn/doc/asr/voicedictation/Java-SDK.html

//{"sn":1,"ls":true,"bg":0,"ed":0,"ws":[{"bg":0,"cw":[{"w":"今天","sc":0}]},

//jsonStr转换为str

public String getString(String jsonStr){

StringBuffer stringBuffer=new StringBuffer("");

JSONObject jsonObject=JSON.parseObject(jsonStr);//转成JSON对象

JSONArray wsArr=jsonObject.getJSONArray("ws");//ws：word sentence

for(int i=0;i

JSONObject wsArrObj=wsArr.getJSONObject(i);

JSONArray CWArr=wsArrObj.getJSONArray("cw");//cw：Chinese word

for (int j = 0; j < CWArr.size(); j++) {

JSONObject CWArrObj = CWArr.getJSONObject(j);

String wStr = CWArrObj.getString("w");//w：word

stringBuffer.append(wStr);

str.add(wStr);

}

}

return stringBuffer.toString();

}

public List getStr() {

return str;

}

}

注：2.(2)部分的三个片段代码加在一起才是完整的。