DataBaker标贝科技-CSDN博客

原创《SPARK官方教程系列》（标贝科技）

1-概述Apache Spark是一个用于大规模数据处理的统一分析引擎，它在Java、Scala、Python和R中的提供了高级api，以及一个支持通用执行图[general execution graphs]的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图形处理的GraphX以及用于增量计算和流处理的结构化流。在Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集(RDD)。在Spark 2.0之后，RDDs被D

2022-04-18 12:01:37 2668

原创 uni-app多平台融合【入门】（标贝科技）

uni-app多平台融合【入门】一、uni-app介绍uni-app 是一个使用 Vue.js 开发所有前端应用的框架，开发者编写一套代码，可发布到iOS、Android、Web（响应式）、以及各种小程序（微信/支付宝/百度/头条/飞书/QQ/快手/钉钉/淘宝）、快应用等多个平台。二、功能框架从下面uni-app功能框架图可看出，uni-app在跨平台的过程中，不牺牲平台特色，可优雅的调用平台专有能力，真正做到海纳百川、各取所长。三、使用工具【推荐】HBuilderX 【官网下载地址：http

2022-04-12 10:41:00 2711

原创 Elasticsearch相似度算分TF-IDF BM25（标贝科技）

控制相关度处理结构化数据（比如：时间、数字、字符串、枚举）的数据库，只需检查文档（或关系数据库里的行）是否与查询匹配。布尔的是/非匹配是全文搜索的基础，但不止如此，我们还要知道每个文档与查询的相关度，在全文搜索引擎中不仅需要找到匹配的文档，还需根据它们相关度的高低进行排序。全文相关的公式或相似算法（similarity algorithms）会将多个因素合并起来，为每个文档生成一个相关度评分 _score 。这里，我们会验证各种可变部分，然后讨论如何来控制它们。当然，相关度不只与全文查询有关，也

2022-03-29 10:12:01 2531 1

原创 PHP各版本技术特性（标贝科技）

文章目录PHP8JIT流程配置测试小结match表达式PHP7HugepageHugepage简介Hugepage配置Opcache file cacheOpcache file cache简介Opcache file cache配置PHP5Opcache简介安装配置注意事项yield关键字总结PHP8JITPHP8 的 JIT（ Just In Time ）无疑是新特性中一大亮点， JIT 是一种编译器策略，它将代码表述为一种中间状态，在运行时将其转换为依赖于体系结构的机器码，并即时执行。在 PH

2022-03-21 15:41:19 696

原创 go-mysql-elasticsearch+mysql 同步 ElasticSearch（标贝科技）

一、Elasticsearch：https://www.elastic.co/downloads/past-releases1、Elasticsearch无需安装，解压即用。2、进入elasticsearch/bin目录，执行./elasticsearh即可启动。3、es 绑定了两个端口:9300：Java程序访问的端口9200：浏览器、postman访问的端口4、浏览器中访问：http://ip:9200 即可二、ik(分词) ： https://github.com/medcl/el

2022-03-14 11:55:22 3935

原创白话Android音频系统原理（上）（标贝科技）

白话Android音频系统原理（上）一、基本原理二、初始化准备工作三、播放流程四、录音流程一、基本原理谁来发起（录音和播放）？AudioRecorder，AudioTrack。谁来处理（录音和播放）？ AudioFlinger！怎么处理？AudioPolicyService ！什么是output？为了便于管理, 把一个设备上具有相同参数的一组播放device组织称为一个output。它描述一些实际支持的设备（有实际硬件）一个output对应一个处理线程thread。二、初始化准备工作从f

2022-03-07 10:12:05 308

原创 mysql 锁（标贝科技）

mysql 锁锁类型类型表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高，并发度最低这些存储引擎通过总是一次性同时获取所有需要的锁以及总是按相同的顺序获取表锁来避免死锁。表级锁更适合于以查询为主，并发用户少，只有少量按索引条件更新数据的应用，如Web 应用行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低，并发度也最高最大程度的支持并发，同时也带来了最大的锁开销在 InnoDB 中，除单个 SQL 组成的事务外，锁是逐步获得的，

2022-03-03 10:47:46 2324

原创 Docker概述（二）（标贝科技）

Docker概述（二）文章目录Docker概述（二）前言一、镜像构建与运行二、docker常用命令总结前言本文将介绍Docker镜像的构建、运行以及介绍docker的常用命令一、镜像构建与运行Dockerfile创建Dockerfile常用命令介绍这里以tomcat9.0为例首先下载一个tomcat9.0docker pull tomcat:9.0通常我们启动一个Tomcat容器，官方镜像是简化版的，在webapps 目录下没有任何内容，所有我们启动之后访问主页也是没有任

2022-02-28 10:28:48 693

原创 postman安装使用教程（标贝科技）

postman安装使用教程文章目录postman安装使用教程前言一、postman安装二、postman使用前言postman是Chrome浏览器的插件，是一款功能强大的网页调试工具（接口调试神器）一、postman安装1.下载： https://www.postman.com/downloads/2. 安装双击postman应用程序进入到postman主界面，如下证明安装成功3. 界面主要功能介绍二、postman使用1. 状态码解释各位小伙伴可以学习一下关于接口

2022-02-21 10:11:21 28268 1

原创 Mysql 事务（标贝科技）

文章目录事务InnoDB对ACID的支持隔离级别不同隔离级别下读读取数据可能出现的情况不可重复读和幻读区别redo log （共享表空间）redo log block刷redo log策略：innodb存储引擎中checkpoint：触发逻辑解决问题Log sequence number日志序列号innodb从执行修改语句开始：undo log 日志（共享表空间）记录日志的方式事务InnoDB对ACID的支持特性说明InnoDB支持原子性一个事务（transaction）中的所

2022-02-15 10:15:24 834

原创 srilm的安装与使用（标贝科技）

一、简介简单且概括的来说，SRILM是一个构建和应用统计语言模型的开源工具包，主要用于语音识别，统计标注和切分，以及机器翻译，可运行在UNIX及Windows平台上。（具体概念都能搜索出来，不再赘述，主讲安装和简单使用。）SRILM的主要目标是支持语言模型的估计和评测。二、安装在此，为解决大家下载版本不一致，导致安装出错的问题，提供压缩包下载链接，如下所示：SRILM：链接：https://pan.baidu.com/s/18T474NLSqlBL_xhMKEivnA提取码：adslTCL：链

2022-02-10 10:30:14 1839 3

原创 GMM-HMM声学模型实例详解（标贝科技）

GMM-HMM声学模型实例详解GMM-HMM为经典的声学模型，基于深度神经网络的语音识别技术，其实就是神经网络代替了GMM来对HMM的观察概率进行建模，建模解码等识别流程的格个模块仍然沿用经典的语音识别技术接下来我将从GMM、最大似然估计到EM算法实例，再到最后使用一段语音介绍GMM-HMM声学模型参数更新过程一、GMM (混合高斯分布)1、正态分布(高斯分布)如果你绘制出来的概率分布是一条钟型曲线，且平均值、众数和中位数都是相等的，那么随机变量X就服从正态分布，记为X~N(μ，σ2),正态分布概

2022-01-17 11:38:19 4261

原创 MySQL索引原理（标贝科技）

什么是索引？索引是帮助MySQL高效获取数据的数据结构。索引的本质就是数据结构。索引的目的在于提高查询效率，可以类比图书的目录，根据目录中的页码快速找到所需的内容。一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上。索引的优点和缺点优点1）索引可以提高数据检索的效率，降低数据库的IO成本2）索引可以将随机IO变成顺序IO3）索引可以帮助服务器避免排序和创建临时表缺点1）虽然索引提高了查询的速度，同时也降低了更新表的速度，比如对表进行INSERT、UPD

2022-01-14 15:10:40 614

原创基于AudioQueue实现音频的录制和播放（标贝科技）

基于AudioQueue实现音频的录制和播放文章目录基于AudioQueue实现音频的录制和播放背景总览Audio Queue 架构AudioQueueBuffer数据结构创建`AudioQueueBuffer`释放 `AudioQueueBuffer`Buffer Queue 和EnqueuingAudio Queue Callback音频录制创建一个录音 AudioQueue 的示例音频播放播放流程说明通过AudioQueue来控制音频的播放Audio Queue 的控制和状态Audio Queue

2022-01-07 10:10:38 611

原创 pytorch模型从训练到LibTorch部署(标贝科技)

pytorch和libtorch安装PyTorch 是Torch7 团队开发的，从它的名字就可以看出，其与Torch 的不同之处在于PyTorch 使用了Python 作为开发语言。所谓“Python first”，同样说明它是一个以Python 优先的深度学习框架，不仅能够实现强大的GPU 加速，同时还支持动态神经网络，这是现在很多主流框架比如Tensorflow 等都不支持的。　　PyTorch 既可以看做加入了GPU 支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络，除了F

2021-12-28 17:10:43 3005

原创 Docker概述（一）（标贝科技）

docker系列文章（一）第一章docker概述与安装文章目录docker系列文章（一）前言一、docker概述二、使用步骤1.引入库2.读入数据总结前言此系列文章将详细介绍docker的原理及使用一、docker概述docker是什么？docker是目前使用最广泛的开源容器引擎，是一种操作系统级的虚拟化技术，一个简单的应用程序打包工具为什么要使用容器？上线流程繁琐 —> 资源利用率低 —> 程序扩容不及时 —> 服务器环境臃肿 —> 服务所需环境不

2021-12-27 10:11:41 1460

原创 Mysql整体介绍（适用于5.X版本）(下）（标贝科技）

Mysql整体介绍（适用于5.X版本）(下）（标贝科技）二、InnoDB介绍[9-11]InnoDB是Mysql取得成功的最关键的引擎，其重要性不言而喻，下面将单独对该引擎的核心特性进行介绍，其他引擎如MyISAM、MEMORY、NDB等，本文不作说明。本文主要从宏观角度整体性地对InnoDB进行介绍，索引、事务、锁等具体的知识点在后续文章单独介绍。2.1 InnoDB体系架构和关键技术在MySQL 5.1中，可以支持两个版本的InnoDB，一个是静态编译的InnoDB版本，可将其视为老版本的In

2021-12-20 14:49:30 1149

原创免费公测标贝声音理解，检测声音性别和年龄

古有听声辨位，今有听声“识”人。说到声音，其本质是不同频率声音的集合，以波的形式振动（震动）传播。由于每个人的发声器官（口腔、鼻腔、声带）各不相同，因此每个人的声音也不一样。因而，你的声音代表了个人很多关键信息，例如，性别、年龄、音色等特征。前几年，韩国大热的刑侦剧《Voice》里，女主是一个报警中心电话接听员，天生听力过人，不仅能听到很多常人听不到的细小微弱的声音，还能分辨出人讲话的声音、物体碰撞的声音、环境背景音等，靠着这个听声辨物的“超能力”，女主通过现场声音，准确的分辨人、物、地点，帮助组员破获了

2021-12-17 15:32:40 550

原创 Mysql整体介绍（适用于5.X版本）(上）（标贝科技）

Mysql整体介绍（适用于5.X版本）Mysql 8.X版本和 5.X版本相比，有比较大的调整。目前工作中应用最广的是Mysql 5.6/5.7的版本，所以文章将聚焦于对Mysql 5.6/5.7版本进行介绍，8.X版本的相关改动，有机会再单独整理。一、Mysql体系结构Mysql是一个单进程多线程、基于C/S架构的关系型数据库管理系统，其体系结构如图1所示（图片参考Mysql官方手册，各个版本会进行少许调整，总体上仍是准确的，虚线标出的查询缓存和缓冲区部分在Mysql 8.X版本中已废弃，侧面反映了

2021-12-15 15:08:26 1605

原创 kaldi新手入门及语音识别的流程(标贝科技)

kaldi新手入门及语音识别的流程(标贝科技)欢迎体验标贝语音开放平台地址：https://ai.data-baker.com/#/?source=qaz123（注：填写邀请码hi25d7，每日免费调用量还可以翻倍）一、kaldikaldi简介Kaldi是当前最流行的开源的语音识别工具包，旨在提供灵活且可扩展的组件，包括多种语音信号处理，语音识别，声纹识别和深度神经网络。Kaldi的代码主要用C++编写，在此之上使用bash 和python脚本做了一些工具。kaldi安

2021-12-06 10:26:50 3827

原创教你windows下配置java环境变量&idea配置maven库（标贝科技）

安装java环境变量+idea配置maven库（标贝科技）提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录安装java环境变量+idea配置maven库（标贝科技）前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开

2021-11-22 10:33:53 537

转载 WeNet 更新：超大规模数据 UIO，支持千万小时语音训练任务（转载自语音杂谈）

转载自语音杂谈 https://mp.weixin.qq.com/s/C6vVQ455g_fVNtRBb9pa7AWeNet 更新：超大规模数据 UIO，支持千万小时语音训练任务近日，WeNet 中更新了超大规模数据 UIO (Unified IO) 支持，可以支持工业级千万小时级别的语音数据训练，支持云存储 OSS/S3/HDFS 等，并且训练速度更快，接口更简单，更容易使用和调试。旧有 IO 方案的问题WeNet 中旧有的 IO 方案基于 Pytorch 原生的 Dataset，在训练时，需要一

2021-11-15 16:26:04 803

原创教你如何用ffmpeg处理音频格式转换（标贝科技）

文章目录前言ffmpeg介绍？一、下载与安装1.下载安装包2.设置环境变量3.验证是否安装成功二、命令讲解1 参数解释2 音频格式转换命令三、标贝开放平台介绍前言ffmpeg介绍？FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案（本章介绍：ffmpeg的安装及音频转换命令使用）一、下载与安装1.下载安装包ffmpeg官网地址：https://ffmpeg.org/downlo..

2021-11-03 14:20:42 7647 1

原创手把手教你用JAVA实现“声音复刻”功能（复刻你的声音）标贝科技

手把手教你用JAVA调用websocket实现“语音识别”功能（声音转文字）标贝科技前言什么是语音识别？将自然语音转换为文本信息，本篇文章将介绍“长语音识别”（对长时间持续输入的语音流进行识别，例：视频直播）一、内容太长不愿意看，直接使用系列首先确认接口调用要求：支持音频格式：wav，pcm(Linear pcm)音频采样率：8000Hz，16000Hz位深：16bits声道：单声道时长限制：不超过3小时确认无误后，直接执行 2.2获取权限+2.3.4完整代码示例二、用JAVA调

2021-10-19 10:24:17 1661

原创手把手教你用JAVA实现“语音合成”功能（文字转声音）标贝科技

手把手教你用JAVA实现“语音合成”功能（文字转声音）标贝科技前言什么是语音合成？将文本转换成自然流畅的语音，本篇文章将介绍“实时在线合成”（文本长度不得超过1024字节）一、内容太长不愿意看，直接使用系列首先确认接口调用要求：合成音频的格式：PCM合成音频的采样率: 8000Hz,16000Hz支持语言:中文(zh)，英文(eng)，粤语(cat)，四川话(sch)确认无误后，直接执行 2.2获取权限+2.3.4完整代码示例二、用JAVA调用标贝科技“语音合成”接口使用流程2.1

2021-10-15 14:28:35 4075 5

原创手把手教你用JAVA实现“语音识别”功能（声音转文字）标贝科技

手把手教你用JAVA实现“语音识别”功能（声音转文字）标贝科技前言什么是语音识别？将自然语音转换为文本信息，本篇文章将介绍“一句话识别”（对60秒以内的语音进行实时转写识别）一、内容太长不愿意看，直接使用系列首先确认接口调用要求：时长限制：60秒以内支持音频格式：wav，pcm音频采样率：8000Hz，16000Hz位深：16bits声道：单声道确认无误后，直接执行 2.2获取权限+2.3.3完整代码示例二、用JAVA调用标贝科技“语音识别”接口使用流程2.1.环境准备jav

2021-09-27 10:26:07 5183 1

原创手把手教你用JAVA调用Websocket实现“声音转换”功能（变声）标贝科技

手把手教你用JAVA调用Websocket实现“声音转换”功能（变声）前言什么是声音转换？基于深度学习和迁移学习技术，精准将原说话人的声音转换为目标说话人，同时保留原说话人的风格特色。让声音有更多的表现形式。一、内容太长不愿意看，直接使用系列首先确认接口调用要求：实现方式：Websocket支持音频文件的编码格式及文件名的后缀: pcm支持音频文件的采样率/位深: 16000Hz/16bit支持的语言:中文普通话音频有效时长：不超过180分钟确认无误后，直接执行 2.2获取权限+2

2021-09-16 09:56:29 1009

原创 WAV2VEC:针对语音识别的无监督预训练

WAV2VEC: UNSUPERVISED PRE-TRAINING FOR SPEECH RECOGNITION概要本文使用大量的无标签数据集去预训练wav2vec模型，从而提升声学模型效果。本文训练的模型在性能上超越了Deep Speech 2，在nov92测试集上，WER达到了2.43%。1 简介预训练在深度学习算法中是一个很常用的方法，主要作用是能提升模型性能，即使是在当前带标签数据集的很少的情况下。主要方法是通过大量的无标签数据或者有标签的其他数据集对模型进行训练，可以使模型学习到通用的特

2021-08-23 10:22:31 2741

原创 MFCC特征介绍

MFCC特征介绍在语音识别技术中，需要提取音频的特征，然后就可以使用该音频进行模型的训练或者是进行识别，目前很常用的一种特征叫做MFCC特征，又叫做梅尔倒谱系数特征。MFCC特征保留了语义相关的一些内容，过滤掉了诸如背景杂音等无关的信息。MFCC的特点是使用一组用来创建梅尔倒谱的关键系数，这样使得它的倒频谱和人类非线性的听觉系统更为接近。具体步骤如下：对音频信号进行分帧加窗将信号进行傅里叶变换将频谱映射到梅尔刻度取对数进行DCT变换为什么要对音频信号进行分帧加窗？因为音频信号本身是非平

2021-08-10 19:18:16 5265

原创 Self-training and Pre-training are Complementary for Speech Recognition自训练和与预训练在语音识别中的互补

Self-training and Pre-training are Complementary for Speech Recognition自训练和与预训练在语音识别中的互补简介self-training和无监督的预训练可以互补，用来优化语音识别系统，但是还不清楚他们是否学习到了详细的patterns或者如何将他们有效的结合。本文仅使用了10分钟的带标签的数据（Libri-light）和5,300小时的无标签数据（LibriVox)进行训练，在Librispeech的clean和other的数据集上W

2021-07-30 18:19:39 534

DataBaker的博客