语音大创
文章平均质量分 75
饮哉
NJU cs 22级
展开
-
10 应对loss为nan的问题
PS:因为最后不打算做这个方向了,所以也没进一步修改模型。(肯定是得进一步修改模型的,激活函数,标准化函数,还有模型结构等等)如果学习率改的很小还是nan,那么,模型里面可能梯度太大了,得调整一下模型的结构了(学习率太小学的很慢的)把lr从0.000025改成 0.000005。原创 2024-07-29 12:15:53 · 325 阅读 · 0 评论 -
09 在DTT的框架下修改模型
这个改的模型其实有问题,后面没调了,不过这篇文章主要是看怎么改模型,还是很不错的原创 2024-07-29 12:12:31 · 472 阅读 · 0 评论 -
08 浅谈STFT(短时傅里叶变换)
在STFT中,频率的数量取决于FFT窗口的大小(n_fft)。通常,频率的数量是 n_fft/2 + 1,因为FFT的结果是对称的,只有一半是唯一的。这些段的数量取决于信号的总长度、FFT窗口的大小以及步长(hop_length)。在音频处理中,经常只关注一定范围内的频率,因为这些频率包含了音频的主要信息。复数有实部和虚部,因此这一维的大小是2。在FFT中,每个频率分量都是一个复数,其实部和虚部分别表示该频率分量的幅度和相位信息。self.n_bins 通常等于 n_fft/2 + 1,表示频率的数量。原创 2024-07-19 11:16:06 · 398 阅读 · 0 评论 -
07 Tmux后台训练模型
命令可以查看当前所有的 Tmux 会话。以下是 Tmux 的最简操作流程。命令用于杀死某个会话。原创 2024-07-19 10:06:06 · 154 阅读 · 0 评论 -
06 浅谈DTT模型的配置文件
你看它里面也有之前已经配置过的model,trainer,datamodule之类的,当然是以后出现的配置为准(会覆盖与前面配置的冲突的地方)如果你的训练命令中加上了logger=[]:根据Hydra的配置机制,命令行参数的优先级高于配置文件。defaults里面还有一个override /model: vocals.yaml,文件,还是一样,后出现的配置覆盖与前面配置的冲突的地方。时,配置文件究竟是怎么选的呢?,不要忘了我们运行命令时指定了。同理,我们跳过几个,看。,这个告诉我们它用到了。原创 2024-07-19 10:04:44 · 620 阅读 · 0 评论 -
05 DTT模型的下载和运行
效果就是保持原本的train文件夹不变之外,新建了许多文件夹,里面存放经过data argmentation(数据增强)的各个歌曲的5个.wav文件(mix+4个)文件夹(里面装着4个.ckpt文件,其实就是4种训练好的模型的checkpoint,里面存好了参数和其他一些信息),然后把这个文件夹放到机器的这个模型的目录。我自己训练的500多个epoch的模型(这500多轮里的最优模型)(无data_argumentation)(PROJECT_ROOT的作用是跑模型推理时结果存在。由此大概可估计效最终果。原创 2024-07-19 10:02:07 · 625 阅读 · 0 评论 -
04 多进程编程以利用多核
就是OS对线程的实现和Python啊C语言啊提供给你的线程不是一个东西,用户线程的话比如c语言库会给你维护一个线程池,里面的线程最终还是得依赖os的线程实现来做。其实编程语言设置线程的概念也是为了屏蔽底层的os实现,不管底层os是用的用户级线程实现,还是内核级线程实现,编程语言都可以帮你搞定。python evaluate.py跑的太慢了,python enhance.py跑的也不快,所以我想把这两个文件改一下,内部写成多进程的模式。不设置这个的话,默认的创建子进程的方式是fork,跑起来会报错的。原创 2024-07-11 11:16:03 · 315 阅读 · 0 评论 -
03如何替换baseline的模型
,然后检查hubconf.py里的dependencies列表列出的依赖是不是都已经下载了(这边依赖的名字可能会有问题,比如dora写成dora-search,就是名字的问题,包其实没问题,需要手动修改一下),然后model这个参数必须是在hubconf.py被import了的,model其实是一个函数啦,然后就会调用model(*args, **kwargs)。然后什么样的模型可以以这种方式加载呢?我遇到的实际情况:想添加一个htdemucs的模型。定义的,是属于torch这个包的。原创 2024-07-11 11:05:29 · 315 阅读 · 0 评论 -
02 demucs模型的下载和运行
会根据指定的 YAML 文件来创建或更新一个虚拟环境,并安装文件中列出的所有包。有时候你的项目依赖于当前目录中的代码,这些代码可能在开发阶段或本地没有发布到 PyPI(Python Package Index)。安装包的可编辑模式,允许你在开发过程中随时修改代码并立即看到效果,而不需要每次修改后重新安装包。(1)**首先,git clone,**但要注意不要在home目录下这么做(空间不够),去/data1这么做。,发现安装成功了,就自以为OK了,其实装错地方了,因为前面加了。:定义命令行脚本的入口。原创 2024-07-11 11:08:36 · 307 阅读 · 0 评论 -
01 远程连接到分配的服务器
不容易(如果安装的conda有问题,会在用conda创建虚拟环境时一直在soving environment)p.s:数据可以放在/data1或者/data2下面,home目录空间比较小,就放点代码啥的就行了。:这些设置会影响通过命令行发起的 HTTP 和 HTTPS 请求,例如使用。命令后,会将指定的代理服务器配置应用到你的命令行环境中。使用代理服务器,需要显式地告诉它代理服务器的地址。我发现ubuntu里的百度ai回答的方法下载的conda是好的。命令不行的原因是,默认情况下,原创 2024-07-11 11:14:08 · 958 阅读 · 0 评论