raspberry pi_Go和Raspberry Pi如何助力钢琴演奏AI-CSDN博客

raspberry pi

Dan Tepfer在NPR上的钢琴世界启发了我探索自己的增强钢琴演奏世界。我可以编写一个可以实时学习的程序，以自己的演奏中的音乐表现来即兴演奏吗？

以下文章是有关制作PIanoAI的逐个过程。如果您只想尝试PIanoAI，请访问GitHub以获取说明和下载。否则，请留在这里，了解我的许多编程愚蠢。

灵感

在观看Dan Tepfer在NPR上的视频后，我抓起了他计算机的静止画面，并得知他使用Processing软件连接到了他的（非常漂亮的）MIDI键盘。

我很容易设法用自己的（而不是花哨的）MIDI键盘来组合类似的东西。

正如视频中所解释的那样，Dan的增强型钢琴演奏基本上可以使您以指定的模式镜像或呼应某些音符。他的许多音乐风格似乎与歌曲有关。考虑了一下之后，我决定对某种不同的东西感兴趣：我想要一个钢琴伴奏，它可以实时学习以模仿我的风格，并在我自己演奏任何歌曲的空间中即兴创作。

我不是第一个制作钢琴AI的人。 Google制作了AI Duet ，这是一个很棒的程序。但是我想看看是否可以制作出专门针对自己风格的AI。

人工智能之旅

我的设备没什么特别的。我从一个放弃学习钢琴演奏的人那里买来的。几乎任何MIDI键盘和MIDI适配器都可以。

我通常需要至少做两次以使其正确。我还需要清楚地画出所有内容，以完全了解我在做什么。那么，我编写程序的过程基本上如下：

画在纸上。
用Python编程。
重来。
再次将其画在纸上。
在Go中编程。

^{前两页（共12页）用于弄清楚我在做什么}

每次我在纸上提出想法时，大约需要三张纸才能真正形成想法。

用Python编写钢琴AI

知道自己在做什么之后，便用一组Python脚本实现了所有功能。这些脚本基于Pygame构建，对MIDI有很好的支持。这个想法很简单-有两个线程：节拍器和监听器。收听者仅记录主持人演奏的音符。节拍器滴答作响并在队列中播放任何音符，或者如果队列中没有音符，则要求AI发送一些新的音符。

我将其设置为可插拔的，因为您可以对AI进行变体，以便可以轻松地为其配备不同的钢琴配件。有一种简单的回声算法，一种用于在和弦结构中弹奏音符（确定和弦后），另一种用于从马尔可夫链生成钢琴乐曲。这是我使用该算法的较新版本播放的电影（当我的右手离开键盘时，AI开始播放，直到我再次播放）：

我的第一个钢琴演奏AI

我有几件我不喜欢的事情。首先，这不好。最好的情况下，钢琴AI伴奏听起来像是一个小孩在努力模仿我自己的演奏（我认为有两个原因，其中基本上不考虑速度数据和过渡时间）。

其次，这些Python脚本在Raspberry Pi上不起作用。该视频是使用Windows与我一起拍摄的。我不知道为什么我在Python 3.4上遇到了麻烦，因此我升级到3.6。使用Python 3.6时，我仍然遇到奇怪的问题。 pygame.fastevent.post有效，但pygame.fastevent.get无效。我为此举手，找到了另一种选择。

另一种方法是在Go中编写此代码。 Go明显比Python快，这非常有用，因为这是一个低延迟的应用程序。我的耳朵分辨出20毫秒的差异，因此我想将处理时间降到最短。我找到了Go MIDI库，因此移植非常可行。

在Go中编写钢琴AI

我决定简化一下。我不会用很多不同的算法来制作模块，而是专注于我最感兴趣的模块：一个程序，它可以实时学习以在我自己的演奏中即兴发挥。我拿出更多纸开始。

第一天

大多数代码与我以前的Python脚本大致相同。在Go语言中编写代码时，我发现生成线程比使用Python容易得多。线程遍布该程序。有用于监听MIDI的线程，用于演奏音符的线程和用于跟踪音符的线程。我很想在线程中使用全新的Go 1.9 sync.Map ，但是我意识到我可以利用maps的地图，这超出了sync.Map的复杂性。尽管如此，我还是制作了一个地图地图，该地图类似于我编写的另一个同步地图存储（ schollz / jsonstore ）。

我试图使所有内容都达到一流（双关语意），所以我将组件（MIDI，音乐，AI）实现为具有自己功能的对象。到目前为止，MIDI监听效果很好，并且响应速度很快。我还实现了播放功能，该功能也可以使用。这很容易做到。

第二天

我首先将所有代码重构到文件夹中，因为我想为每个对象保留New函数。物体已经固化；这里有一个用于学习和生成弹奏的AI，一个用于钢琴音符模型的Music对象，一个用于与MIDI通信的Piano对象以及一个用于将所有内容组合在一起的Player对象。

我花了大量时间在笔和纸上，弄清楚了AI应该如何工作。我意识到用钢琴音符制作马尔可夫链的方法不止一种。钢琴音符具有四个基本属性：音高，力度， 持续时间和延迟（到达下一个音符的时间）。钢琴音符的基本马尔可夫链将包括四个不同的马尔可夫链，每个属性对应一个。可以这样说明：

^{钢琴特性的基本马尔可夫链。}

在此，根据前一音符（P1）的音高来确定下一音符（P2）的下一音高。速度（V1 / V2），持续时间（D1 / D2）和滞后（L1 / L2）相似。实际的马尔可夫链仅枚举每个属性值的相对出现频率，并使用随机选择器选择一个属性。但是，钢琴的属性不一定是独立的。有时，音高和速度之间或音符的速度和持续时间之间存在关系。为了解决这个问题，我允许使用不同的耦合。您可以将属性耦合到任何其他属性的当前值或最后一个值。目前，我只允许两个耦合，因为这很复杂。但从理论上讲，您可以将下一个音高的值与上一个音高，速度，持续时间和滞后值相结合。

从理论上弄清一切之后，我便开始实施AI。 AI只是马尔可夫链，因此它确定了音符属性的相对频率表，并具有根据累积概率和随机数来计算它们的功能。在深夜，它奏效了！好吧，有点...这是一个愚蠢的视频，我在舔它，然后弹奏AI钢琴：

使用基本的马尔可夫链进行钢琴伴奏的示例。

看来我明天还有更多需要改进的地方。