这个人很懒什么都没有~

前面介绍了 android 部署大模型，下一步就是语音处理，这里我们选用 sherpa 开源项目部署语音识别、合成、唤醒等模型。离线语音识别库有whisper、kaldi、pocketshpinx等，在了解这些库的时候，发现了所谓“下一代Kaldi”的sherpa。从文档和模型名称看，它是一个很新的离线语音识别库，支持中英双语识别，文件和实时语音识别。sherpa是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD）等功能。

MLC-LLM 是一个开源项目，旨在为大规模语言模型（LLM）提供高效的训练和推理框架。它支持各种模型架构和训练策略，并且致力于优化计算资源的使用，以提高模型的性能和可扩展性。这里稍微讲解了一些MLC的基本概念，以帮助我们使用和了解 MLC LLM。MLC-LLM 由三个不同的子模块组成：模型定义、模型编译和模型运行。使用 mlc-llm开发流程：➀ Python 中的模型定义。

分享两个神经网络的超低音频码率 codec：这两个都是传统声码基础上使用神经网络进一步压缩音频，Lyra 是 google 开发的最低码率 3.2k，音频质量较好而且编译工具是谷歌官方的 bazel（直接支持android，源码使用了 tensorflow lite 推理加速）。LpcNet 码率是 1.6k 不过在嵌入式平台或者移动端有算力要求，音质也稍微差一些。

而大模型代理使用类似的思想，利用大模型的自然语言分析能力根据当前对话梳理达到目标需要执行的策略，然后一边执行操作一边根据反馈分析下一个操作，最后达到目标，生成总结输出。Agent 是目前认为最能够将大模型实际落地的应用方向，总的来说 Agent 其实就是提示词工程，通过更好的提示词来激发模型的能力。聊天机器人型AI Agent:聊天机器人型AI Agent是- -种能够通过文本消息与用户进行对话的大模型AI Agent。数据分析型AI Agent可以帮助企业做出更明智的决策、发现潜在的商机、优化运营流程。

Elastic 社区在自然语言处理上面做的很不错官方博客更新速度也很快，现阶段大模型的应用场景主要在 Rag 和 Agent 上，国内 Rag（Retrieval-Augmented Generation 检索增强生成） 的尤其多，而搜索对于 Elasticsearch 来说是强项特别是 8.9 之后的版本提供了 ESRE 模块（集成了高级相关性排序如 BM25f、强大的矢量数据库、自然语言处理技术、与第三方模型如 GPT-3 和 GPT-4 的集成，并支持开发者自定义模型与应用），经过我的各种尝试在 El

ltp是哈工大社会计算和信息检索研究中心（HIT-SCIR）开源的中文自然语言处理工具集，用户可以使用 ltp 对中文文本进行分词、词性标注、命名实体识别、语义角色标注、依存句法分析、语义依存分析等等工作。目前是我觉得比较好用的nlp工具、相比 apache-opennlp、spark-nlp 等工具对中文支持度更好。ltp是 pytorch 开发，项目上是整合到 elasticsearch 服务中使用。

Weka 算法总结。

最近又开始调 webrtc-agc 算法，这里记录自适应模拟增益模式下音量反馈调节的过程。

经过我的测试 Java 下面做强化学习有以下几个方案，Deeplearning4j（后面的版本已经移除了rl4j库官方也不维护了，做一些小Work还是可以的），DJL（亚马逊开源，目前这个在 Java 深度学习方向是比较全面的），另外就是强化学习仿真平台 gym、mujoco 这些都可以在 Java 平台找到使用方案。

下面是使用 opencv-camera，实时处理区域内人脸检测 android 推理 demo。

近日，Meta AI在官网发布了基础模型 Segment Anything Model（SAM）并开源，其本质是用GPT的方式（基于Transform 模型架构）让计算机具备理解了图像里面的一个个“对象”的通用能力。SAM模型建立了一个可以接受文本提示、基于海量数据(603138)训练而获得泛化能力的图像分割大模型。图像分割是计算机视觉中的一项重要任务，有助于识别和确认图像中的不同物体，把它们从背景中分离出来，这在自动驾驶（检测其他汽车、行人和障碍物）、医学成像（提取特定结构或潜在病灶）等应用中特别重要。

模型推理输出文本区域需要经过二值化之后使用 opencv 查找轮廓，然后获取最小外接矩形并扩展得到最终的文本区域，后续需要矩形旋转、投影变换等操作作为文本识别的输入。文本识别可以用crnn等各种模型。

参数化 Prepared-statement 的解析阶段：bind，将上一阶段的 PreparedStatement 生成执行计划并绑定保存，后续相同的参数化请求可以复用，还需要对已有的计划进行校验。请求传递的是参数、参数格式和返回列格式。参数化 Prepared-statement 的解析阶段：parse，对语法进行分析并重写，请求传递的是带参数占位符的sql语句。参数化 Prepared-statement 的解析阶段：execute，参数和计划 Portal 都有了直接执行请求。

因为前面 Java Static 中调用的 RegisterNatives 函数用于 JNI 注册，而底层调用的 Java_java_lang_Xxxx_registerNatives() 这些函数本身也是一个 JNI ，那么这些起始的 JNI 函数就是通过 NativeLookup::lookup() 进行注册的。native 是与C++联合开发的时候用的！JNA(Java Native Access)框架是一个开源的Java框架，是SUN公司主导开发的，建立在经典的JNI的基础之上的一个框架。

（new 出来的对象的实例存储在堆中，但是仅仅存储的是成员变量，也就是平时所说的实例变量，成员变量的值则存储在常量池中。成员方法被存储在方法区，并不是存储在第一个创建的对象中，因为那样的话，第一个对象被回收，后面创建的对象也就没有方法引用了。与堆一样，是被线程共享的内存区域，要注意线程安全问题。在HandleMark的析构函数中会将HandleArea的当前内存地址到方法调用前的内存地址top之间的所有分配的oop都销毁掉，然后恢复当前线程的HandleArea的内存地址top到方法调用前的状态。

也就是说，Java中每个线程都会有自己的缓冲区称作TLAB（Thread-local allocation buffer），每个TLAB都只有一个线程可以操作，TLAB结合bump-the-pointer技术可以实现快速的对象分配，而不需要任何的锁进行同步，也就是说，在对象分配的时候不用锁住整个堆，而只需要在自己的缓冲区分配即可。在一般应用中，不会逃逸的局部对象所占的比例很大，如果能使用栈上分配，那大量的对象就会随着方法的结束而自动销毁了，无须通过垃圾收集器回收，可以减小垃圾收集器的负载。

oop 指的是 Ordinary Object Pointer（普通对象指针，指向被创建的对象），它用来表示对象的实例信息，看起来像个指针实际上是藏在指针里的对象；也就是说 oopDesc 是所有对象类的顶级基础类，Java 所有对象都转换为 C++ 下 oopDesc 类对象，以此通过 C++ 方法来访问 Java 对象。HotSpot的解决方案是，为每一个已加载的Java类创建一个instanceKlass对象，用来在JVM层表示Java类。是 JVM 的规范，所有虚拟机 必须遵守的。

这个ClassLoader类是用C++/C语言编写的，负责将/lib目录、-Xbootclasspath选项指定的目录或系统属性sun.boot.class.path指定的目录下的核心类库加载到内存中。扩展类加载器由sun.misc.Launcher$ExtClassLoader类 Java 实现，负责将/lib/ext目录或者由系统变量-Djava.ext.dir所指定的目录中的类库加载到内存中。JVM在运行时，需要一种用来标识Java内部类型的机制。

在HotSpot VM 中，除了模板解释器外，有很多地方也会用到运行时机器代码生成技术，如广为人知的C1编译器产出、C2编译器产出、C2I/I2C 适配器代码片段、解释器到JNI适配器的代码片段等。C2即时编译器采用了激进乐观的优化技术，并采用传统编译器许多的编译优化手段，如内联优化、全局值编码(GVN)、图着色的寄存器分配、BURS指令选择算法等。接着进行平台无关优化并生成平台相关的 MachNode图:最后进行平台相关优化，包括指令选择、代码重排、寄存器分配、窥孔优化，直至输出目标机器代码。