自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

走在深度学习前沿的小宋

带着大家一起学习深度学习前沿内容,大家一起努力!!!

  • 博客(179)
  • 资源 (17)
  • 收藏
  • 关注

原创 定向传递函数(DTF)算法

基于频率的脑电分析技术由于其固有的脑活动频谱编码而受到神经科学界的欢迎。定向传递函数(DTF)作为一种提取大脑结构间定向信息流的方法,是多元变量自回归模型方法,可以反映信号在频域上的因果关系。

2024-05-15 15:21:51 38

原创 运动想象 (MI) 分类学习系列 (12) :RGDDANet

深度学习的运用提高了运动意象(MI)的分类精度,但脑机接口(BCI)应用中标定时间长的问题仍未得到解决。为了解决这个问题,我们提出了一种新的黎曼几何和深度域自适应网络(RGDDANet)用于MI分类。具体而言,设计了两个一维卷积从脑电信号中提取时间和空间特征,然后利用空间协方差矩阵将提取的特征映射到黎曼流形进行处理。为了对齐黎曼流形上的源特征和目标特征分布,我们提出了一种对称正定(SPD)矩阵平均差异损失(SMMDL)来最小化两个域之间的距离。

2024-04-28 09:08:04 1091

原创 运动想象 (MI) 分类学习系列 (11) :GITGAN

以往的研究主要集中在开发复杂的网络架构设计上,忽视了源数据质量的影响和分布外目标数据问题带来的挑战。为了解决这些局限性,我们认为,以目标数据为中心的空间,加上精心挑选的一组高质量源数据,可以显着增强发展议程。在这项研究中,我们提出了一种称为 GITGAN 的无监督端到端受试者适应方法,这是一种用于脑电图运动图像分析的生成性受试者间转移。我们还提出了一种实用有效的源数据选择方法,进一步提高了性能。

2024-04-27 10:43:20 968

原创 稳态视觉诱发电位 (SSVEP) 分类学习系列 (4) :Temporal-Spatial Transformer

脑电图数据的复杂性、可变性和低信噪比在解码这些信号方面提出了重大挑战,尤其是在以与受试者无关的方式解码时。为了克服这些挑战,我们提出了一种基于Transformer的方法,该方法采用自注意力过程来提取时间和空间域中的特征。为了在 MI EEG 通道之间建立空间相关性,自注意力模块通过平均所有通道的特征来定期更新每个通道。这种加权平均可提高分类准确性,并消除手动选择通道产生的伪影。此外,时间自注意力机制将全局顺序信息编码到每个采样时间步长的特征中,从而可以从MI EEG数据中提取时域中的高级时间属性。

2024-04-26 10:44:16 755

原创 稳态视觉诱发电位 (SSVEP) 分类学习系列 (3) :3DCNN

提高基于稳态视觉诱发电位的脑机接口(SSVEP-BCI)系统的解码精度和信息传递速率(ITR),缩小主体间方差是SSVEP-BCI系统应用的关键。为此,我们提出了一种基于深度迁移学习的SSVEP频域解码方法,以提高解码性能。

2024-04-26 10:17:03 1351

原创 稳态视觉诱发电位 (SSVEP) 分类学习系列 (2) :EEGNet

在本文中,我们展示了一个紧凑的卷积神经网络(Compact-CNN),它只需要原始的EEG信号进行自动特征提取,就可以用来解码12类SSVEP数据集中的信号,而不需要用户特定的校准。主要结果。Compact-CNN展示了大约80%的受试者平均准确率,优于当前使用规范相关分析(CCA)和组合CCA的最先进的手工制作方法。

2024-04-25 09:43:50 1082

原创 稳态视觉诱发电位 (SSVEP) 分类学习系列 (1) :FFT-CNN-CCA

脑机接口(BCI)的一个关键问题是以异步方式检测有意控制(IC)状态和非有意控制(NC)状态。此外,对于稳态视觉诱发电位 (SSVEP) BCI 系统,IC 状态中存在多个状态(子状态)。现有的识别方法依赖于阈值技术,难以实现高准确率,即同时实现高真阳性率和低假阳性率。为了解决这个问题,我们首次提出了一种新型卷积神经网络(CNN)来检测SSVEP-BCI系统中的IC和NC状态。

2024-04-24 11:32:40 982

原创 CMC学习系列 (13):一些恢复良好的卒中患者CMC高于健康人

虽然 TMS 用于探测静息时皮质脊髓束 (CST) 的完整性,但 MEG 用于测试运动挑战期间 CST 通路的募集 [精确握持任务中的皮质-肌肉相干性 (CMC)]。通过这两种技术,可以证明交叉的皮质-脊髓连接。CMC 幅度和恢复的肌肉力量的显着相关性 (r = 0.85) 强调了交叉 CST 完整性与成功恢复的功能相关性。

2024-04-22 15:30:31 712

原创 运动想象 (MI) 分类学习系列 (10) :iWSGL-CSP

该文提出了一种迭代加权稀疏群套索(iWSGL)模型,用于优化基于CSP(CSP)的高维特征,从而进一步提高运动意象的解码精度。具体而言,利用亲和传播(AP)聚类算法,根据高维特征之间的底层关系,自适应地将高维特征划分为多个组。为了评估各组内单个特征的显著性和群本身的整体显著性,提出了一种基于条件熵的权重计算方法。利用权重和特征结构信息,在迭代稀疏群套索(iSGL)框架内设计了加权稀疏回归模型,共同优化了基于CSP的高维特征。

2024-04-21 13:42:29 1027

原创 运动想象 (MI) 分类学习系列 (9) :FBCNet

受脑梗死神经生理特征的启发,本文提出了一种新的用于脑梗死分类的Filter-Bank卷积网络(FBCNet)。FBCNet采用多视图数据表示和空间滤波来提取光谱空间判别特征。这种多阶段方法可以在训练数据有限的情况下有效地训练网络。更重要的是,在FBCNet中,我们提出了一种新的方差层,可以有效地聚合脑电时域信息。

2024-04-20 12:05:11 810

原创 CMC学习系列 (12):卒中患者的前三角肌和肱肌的 CMC 显著降低

与健康对照组相比,卒中患者在运动期间的 β (20-30 Hz) 和较低 γ (30-40 Hz) 波段的 前三角肌 (AD) 和肱肌 (BB)肌肉的皮质脉络一致性显著降低。恢复不良且持续上肢运动障碍的卒中幸存者在执行伸展任务时表现出显着较低的伽马带皮质脉络一致性。

2024-04-19 08:47:58 713

原创 运动想象 (MI) 分类学习系列 (8) :IFNet

受跨频耦合概念及其与不同行为任务的相关性的启发,该文提出一种轻量级交互式频率卷积神经网络(IFNet)来探索跨频交互以增强MI特征的表示。IFNet首先分别提取低频段和高频段的光谱空间特征。然后,使用逐个元素加法操作学习两个波段之间的相互作用,然后进行时间平均池化。结合作为正则化器的重复试验增强,IFNet为最终的MI分类提供了光谱-时空-鲁棒的特征。

2024-04-18 09:03:05 1110

原创 CMC学习系列 (11):影响CMC的因素介绍

尽管CMC已在健康受试者和运动障碍中进行了广泛的研究,但其应用目的仍然不明确,并且CMC的大小因人而异。本文旨在研究调节CMC振幅变化的因素,并比较这些因素之间的显著CMC,以找到一个成熟的研究前景。本文讨论了CMC的机制,并提出了CMC的一般定义。影响CMC的因素也总结如下:实验设计、频带频率和力水平、年龄相关性以及健康对照组与患者之间的差异。

2024-04-17 09:07:11 993

原创 CMC学习系列 (10):CMC计算方法介绍

作为皮层和肌肉之间功能连接的指标,CMC研究是近年来神经生理学的重点。虽然CMC代表了一种相干关系,但是关于相干性关系的计算方式却多种多样,也有很多学者对CMC的相干性关系计算方式进行了研究,包括:普通CMC、小波CMC、傅里叶CMC以及有向CMC等。本文旨在给大家做一个简单的介绍,如果发现有趣的内容也可以联系作者进行后续添加。

2024-04-16 10:09:30 876

原创 CMC学习系列 (9):对侧半球可能支持中风后的恢复

相干值和相干峰与对照平均值的距离都与损伤无关。不仅在一些高度受损的患者中,而且在一些功能恢复良好的患者中发现了对侧半球的峰值CMC。我们的研究结果提供了证据,证明广泛的大脑皮质区域,包括对侧半球的一些区域,可能对中风后受影响肌肉的肌电图活动产生影响,从而支持功能恢复。

2024-04-15 09:07:34 683

原创 CMC学习系列 (8):动态力输出期间的伽马范围皮质相干性

在静态条件下,显著的相干性仅限于β范围。在动态条件下,最明显的相干性出现在伽马范围,而显着的β范围相干性显着降低。在动态力输出期间,β-范围内的皮层运动功率降低,而γ-范围内的功率保持不变,没有显着变化。我们得出的结论是,在动态力期间,感觉运动系统的皮质脊髓振荡模式向更高(主要是伽马)频率转变,以快速整合产生适当运动命令所需的视觉和体感信息。

2024-04-14 14:19:05 838

原创 CMC学习系列 (7):β 范围 EEG-EMG 相干性与皮质光谱功率有关

,β 范围 EEG-EMG 相干性与行为表现有关,即目标和施加力之间的误差信号。此外,我们表明皮层光谱功率的振幅也与性能有关。此外,我们提供的证据证明脑电图-肌电图相干性和皮质光谱功率不是完全独立的现象。总之,我们的研究结果表明,更高的 β 范围皮质光谱功率和 β 范围内增加的皮质脊髓相干性可以改善稳态运动输出期间的运动性能。这表明 β 范围皮质运动谱功率和皮质脉络相干性可能促进有效的皮质脊髓相互作用。

2024-04-13 10:39:26 1011

原创 CMC学习系列 (6):运动观察、运动执行和运动意象下时频和空间特征的皮质-肌肉连贯性分析

研究表明,基于运动观察 (MO)、运动意象 (MI) 或运动执行 (ME) 的脑机接口系统在促进受损运动功能的康复和重组方面很有前途。本研究旨在探讨和比较 MO、MI 和 ME 的运动功能康复机制。我们的结果表明,皮质-肌肉β-lh带在皮层和肌肉之间的同步耦合中起着关键作用。此外,我们的研究结果表明,初级运动皮层 (M1)、背外侧前额叶皮层 (DLPFC)、辅助运动区 (SMA) 和前运动皮层 (PMC) 是 MO、ME 和 MI 的特定区域。然而,它们在 MO、ME 和 MI 下调节肌肉的途径是不同的。本

2024-04-12 09:00:54 811

原创 CMC学习系列 (5):恢复运动早期肢体运动与CMC之间的关系

本研究旨在评估与运动训练相关的皮质肌肉变化。在为期四天的运动训练中,我们量化了功能和皮质肌肉的变化。结果显示,在8-13 Hz频段内,随着时间的推移,功能表现更好,皮质肌肉一致性增强。这些结果应该反映了更好的感觉运动整合。

2024-04-11 11:49:50 918

原创 运动想象 (MI) 分类学习系列 (7) :CMO-CNN

由于采集的脑电信号信噪比低,准确解码意图具有挑战性,解码原始脑电信号更具挑战性。目前,没有深度学习在解码原始脑电信号时实现高分类性能的方法。我们提出了一种新的用于解码MI EEG信号的端到端网络,即紧凑型多分支一维卷积神经网络(CMO-CNN),无需使用原始EEG信号进行滤波等预处理。

2024-04-10 12:51:44 1530

原创 运动想象 (MI) 分类学习系列 (6) :2D CNN-LSTM

由于分类算法精度和稳定性差,MI系统在实践中仍然具有挑战性。因此,我们提出了一种二维卷积神经网络长短期记忆(2D CNN-LSTM)混合算法来对MI任务中的脑电进行分类。我们将脑电信号转换为时间序列段,然后通过二维CNN提取每个段中不同脑电通道之间的连接特征,最后将特征向量发送到LSTM网络进行训练。

2024-03-31 14:14:51 619

原创 运动想象 (MI) 迁移学习系列 (15) : 基于Wasserstein距离的改进域适应网络

受生成对抗网络(GAN)的启发,本研究旨在提出一种基于Wasserstein距离的改进域适应网络,该网络利用来自多个受试者(源域)的现有标记数据来提高单个受试者(目标域)的MI分类性能。具体来说,我们提出的框架由三个组件组成,包括特征提取器、域鉴别器和分类器。特征提取器采用注意力机制和方差层来提高对从不同MI类别中提取的特征的区分。接下来,领域鉴别器采用Wasserstein矩阵来测量源域与目标域之间的距离,并通过对抗学习策略对齐源域和目标域的数据分布。最后,分类器使用从源域获取的知识来预测目标域中的标签。

2024-03-30 12:22:41 1181

原创 CMC学习系列 (4):β段CMC可以作为一种中风治疗的生物标志物和治疗靶点

严重受损的卒中患者的运动恢复通常非常有限。为了完善在该患者群体中重新获得运动控制的治疗干预措施,需要检测神经元可塑性的功能相关机制。皮质-肌肉相干性 (CMC) 可以为实现这一目标提供生理和地形见解。假设将肢体运动与运动相关的大脑激活同步,以重建由 CMC 索引的皮质运动控制。在本研究中,患有右半球病变和左手麻痹的右撇子慢性卒中患者参加了为期四周的左上肢训练。所有患者在β频带的CMC显著升高,具有分布的双半球模式和相当大的个体间变异性。CMC变化的位置与运动障碍的严重程度、运动改善或病变体积无关。

2024-03-29 08:45:52 592

原创 CMC学习系列 (3):卒中患者慢性期、急性期CMC结果分析

与之前仅在慢性阶段进行的研究相反,我们在急性和慢性中风阶段都测量了中风患者的CMC。对于CMC的检测,我们使用了多通道EEG和EMG记录以及用于检测皮质脉搏相互作用的优化算法。在急性卒中,与患侧相比,未受影响侧的 CMC 振幅更大,在慢性期,与未受影响的侧相比,CMC 振幅也更大。此外,与慢性期和对照组相比,急性期和对照组受试者的两侧 CMC 峰值频率均有所下降。在慢性期,CMC振幅或频率无半球间或组间差异。急性卒中中CMC参数的变化可能是由于抑制暂时减少引起的,在恢复过程中恢复正常。

2024-03-28 08:55:32 666

原创 CMC学习系列 (2):EEG-EMG有可能作为运动恢复的生物标志物

我们记录了健康参与者和缺血性卒中后患者在手腕伸展期间同时进行的脑电图和肌电图,评估了卒中后三个时间点的功能。随着手腕活动度在临床上恢复,脑电图-肌电图的连贯性随着时间的推移而增加,到最终评估时,患者组的连贯性高于健康对照组。此外,两组之间的皮质分布不同,与健康参与者相比,患者的皮质区域更大且更偏侧分散。研究结果表明,脑电图-肌电图的连贯性有可能作为运动恢复的生物标志物,并提供有关基于实时脑电图的康复治疗中应针对的皮质区域的信息。

2024-03-27 09:17:32 824

原创 CMC学习系列 (1):EEG-EMG相干性均局限于对侧,同侧无显著相干性

在所有情况下,EEG-EMG相干性均局限于对侧感觉运动区,同侧无显著相干性。手部和前臂肌肉受影响侧的脑电图-肌电图相干性明显较小,但肱二头肌则不然。恢复后皮质下卒中后与肌肉的所有直接功能连接均来自对侧运动皮层。病变对近端和远端肌肉的不同影响似乎与皮质脊髓通路的强度有关。

2024-03-26 12:01:02 1073

原创 运动想象 (MI) 分类学习系列 (5) :WTS-CC

前大多数方法没有考虑空间、时间和频谱域的脑电特征信息,这些模型的结构不能有效地提取判别特征,导致分类性能有限。针对这一问题,我们提出了一种新的文本运动图像脑电判别方法,即基于小波的时间-频谱-注意力相关系数(WTS-CC),以同时考虑这些特征及其在空间、脑电通道、时间和频谱领域的权重。

2024-03-25 08:46:17 789

原创 运动想象 (MI) 分类学习系列 (4) :CycleGAN

获取脑电图 (EEG) 数据通常既费时又费力且成本高昂,这给训练功能强大但数据要求高的深度学习模型带来了实际挑战。本研究提出了一种基于周期一致性对抗网络(CycleGAN)的替代脑电数据生成系统,该系统可以扩展训练数据的数量。本研究使用基于修正S变换(MST)的EEG2Image将脑电数据转换为脑电形貌。该方法保留了脑电信号的频域特性和空间信息。然后,使用CycleGAN学习和生成中风患者的运动意象脑电图数据。

2024-03-24 14:09:39 740

原创 运动想象 (MI) 分类学习系列 (3) :P300和MI融合分类

本研究提出了一种基于MI和P300的新型混合BCI范式。在这个范式中,受试者被指示想象按照屏幕上显示的所需汉字的闪光顺序书写汉字。与事件相关的不同步/同步 (ERD/ERS) 现象是通过基于一个人的想象力的写作产生的。同时,P300 电位由每个冲程的闪光唤起。此外,该文提出了一种P300和MI分类的融合方法,通过可靠的MI分类来纠正不可靠的P300分类。

2024-03-23 13:35:04 912

原创 运动想象 (MI) 分类学习系列 (2) : EEG-FMCNN

MI-EEG信号的高性能解码能力是影响行业发展的关键问题。然而,由于低信噪比和受试者间的变异性,解码 MI-EEG 信号具有挑战性。针对上述核心问题,本文提出了一种新的端到端网络,即融合多分支一维卷积神经网络(EEG-FMCNN),无需预处理即可解码MI-EEG信号。多分支一维卷积的利用不仅表现出一定程度的噪声容差,而且在一定程度上解决了受试者间变异性的问题。这归因于多分支架构能够从不同频段捕获信息,从而能够建立最佳的卷积尺度和深度。

2024-03-22 09:02:47 1104

原创 运动想象 (MI) 迁移学习系列 (14) : EEGNet-Fine tuning

深度学习网络已成功应用于传递函数,使模型可以从源域适应到不同的目标域。本研究利用多个卷积神经网络对脑卒中患者的脑电图(EEG)进行解码,设计有效的运动意象(MI)脑机接口(BCI)系统。这项研究引入了 “微调” 来传输模型参数并减少训练时间。所提出的框架的性能是通过模型的两类MI识别能力来评估的。

2024-03-21 08:46:51 863

原创 运动想象 (MI) 分类学习系列 (1) : UMAP

利用来自多个域的特征可以成为MI模式分类的特征提取的更有效方法,因为它可以提供更全面的信息集,而传统的单一特征提取方法可能无法捕获。该文提出一种基于均匀流形近似和投影(UMAP)的运动影像脑电信号多特征融合算法。脑功能网络和共同空间模式(CSP)最初被提取为特征。随后,利用UMAP对提取的多域特征进行融合,生成具有改进判别能力的低维特征。最后,将k最近邻(KNN)分类器应用于低维空间。

2024-03-20 08:47:26 1324 1

原创 运动想象 (MI) 迁移学习系列 (13) : DS-KTL

为了解决受试者之间的样本差异这个问题,基于领域适应的跨学科场景得到了广泛的研究。然而,现有的方法经常会遇到目标域中冗余特征和伪标签预测不正确等问题。为了实现高性能的跨学科MI-EEG分类,本文提出了一种名为基于双选的知识迁移学习(DS-KTL)的新方法。DS-KTL 从源域中选择两个判别特征,并从目标域中校正伪标签。DS-KTL方法首先对样本进行质心对齐,然后采用黎曼切线空间特征进行特征自适应。在特征适应过程中,通过正则化执行对偶选择,从而增强迭代期间的分类性能。

2024-03-19 09:48:09 1134

原创 运动想象 (MI) 迁移学习系列 (12) : MEKT

本文考虑了离线无监督跨受试者脑电图 (EEG) 分类,即我们标记了来自一个或多个源受试者的 EEG 试验,但仅标记了来自目标受试者的未标记 EEG 试验。我们提出了一种新颖的流形嵌入式知识转移(MEKT)方法,该方法首先在黎曼流形中对齐脑电图试验的协方差矩阵,提取切线空间中的特征,然后通过最小化源域和目标域之间的联合概率分布偏移来执行域适应,同时保留它们的几何结构。MEKT可以应对一个或多个源域,并且可以有效地计算。我们还提出了一种域可转移性估计 (DTE) 方法,以识别最有益的源域,以防存在大量源域。

2024-03-18 08:45:49 957 5

原创 运动想象 (MI) 迁移学习系列 (11) : MSTJM

与之前MI中的MSTL方法不同,我们的方法对每对受试者的数据分布进行对齐,然后通过决策融合对结果进行整合。除此之外,我们还设计了一个跨学科MI解码框架来验证这两种MSTL算法的有效性。它主要由三个模块组成:黎曼空间中的协方差矩阵质心对齐,切线空间映射后欧几里得空间中的源选择,以减少负传输和计算开销,以及通过MSTJM或wMSTJM进一步进行分布对齐。

2024-03-17 20:26:41 799

原创 运动想象 (MI) 迁移学习系列 (10) : 数据对齐(CA)

本篇博客重点考虑数据对齐部分,因为其对后续迁移学习的效果影响非常大。数据对齐有多种方法,如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA)等。下面重点介绍`CA`。

2024-03-16 10:38:24 800 4

原创 运动想象 (MI) 迁移学习系列 (9) : 数据对齐(EA)

本篇博客重点考虑数据对齐部分,因为其对后续迁移学习的效果影响非常大。数据对齐有多种方法,如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA)等。下面重点介绍`EA`。

2024-03-15 09:04:30 1452 2

原创 运动想象 (MI) 迁移学习系列 (8) : VAT-TransEEGNet

探索脑电图(EEG)信号的有效信号特征是脑机接口(BCI)研究中的一个重要课题,其结果可以揭示引发脑电变化的运动意图,在脑电数据特征提取方面具有广阔的研究前景。与以往单纯基于卷积神经网络的脑电解码方法相比,基于群智能理论和虚拟对抗训练的端到端脑电信号解码算法,结合变压器机制对传统的卷积分类算法进行了优化。研究了自注意机制的使用,以将脑电信号的感受野扩展到全局依赖性,并通过优化模型中的全局参数来训练神经网络。

2024-03-14 08:58:54 1018

原创 运动想象 (MI) 迁移学习系列 (7) : SBCCSP

下肢运动意象 (MI) 分类是脑机接口 (BCI) 中一个具有挑战性的研究课题,因为人脑中左右下肢运动的生理表征过于接近。此外,运动想象信号具有严重的受试者特异性特征。以往研究中针对特定受试者设计的分类方案无法满足通用脑机接口系统中跨受试者分类的要求。因此,本研究旨在建立跨受试者的下肢运动想象分类方案。提出了3种新的子带级联公共空间模式(SBCCSP)算法,以低冗余提取代表性特征。

2024-03-13 11:12:18 728

原创 运动想象 (MI) 迁移学习系列 (6) : MDTL

近年来,基于深度神经网络的迁移学习(TL)在基于脑电图(MI)的脑机接口(BCI)中表现出优异的性能。然而,由于预训练模型的准备时间长,以及源域选择的随意性,在不同的数据集和模型上使用深度迁移学习仍然具有挑战性。在本文中,我们提出了一种基于跨学科心肌梗死脑电图的脑机接口的多向迁移学习(MDTL)策略。此策略利用从多源域到目标域以及从一个多源域到另一个多源域的数据。此策略与模型无关,因此可以快速部署在现有模型上。

2024-03-12 09:03:09 625 3

KAN Convolutions (KAN卷积)的Pytorch实现

KAN是当前网络结构的主要潮流 这里是基于Pytorch实现的KAN卷积网络的结构 该项目将 Kolmogorov-Arnold 网络 (KAN) 创新架构的理念扩展到卷积层,将卷积的经典线性变换更改为每个像素中可学习的非线性激活。

2024-05-22

基于EEGNet+方差层的改进实现 Pytorch

基于EEGNet+方差层的改进实现 Pytorch

2024-05-22

基于图网络的情绪分类模型 DGCNN Pytorch实现

基于图网络的情绪分类模型 DGCNN Pytorch实现 第 1 步:下载 SEED 数据集,使用 partition.py 将原始数据集划分为多个会话 步骤 2:使用 extract_DE.py 从 ExtractFeatures 文件夹中提取 DE 特征 步骤 3:运行文件 main_DE_subject_independent.py,计算与主题无关的结果,但需要提前修改加载路径

2024-05-20

XLSTM的Pytorch实现

XLSTM:继LSTM的又一巨作,在LSTM的基础上有了很大的提高 有想找创新点的可以考虑

2024-05-13

TimesFM(Time Series Foundation Model)是Google开发的预训练时间序列基础模型

特点: 1. 它使用可选的频率指示器对多达 512 个时间点和任何地平线长度的上下文长度执行单变量时间序列预测。 2. 它侧重于点预测,不支持概率预测。我们通过实验提供了分位数头,但它们在预训练后尚未校准。 3. 它要求上下文是连续的(即没有“漏洞”),并且上下文和视界具有相同的频率。

2024-05-13

利用AI大模型,一键生成高清短视频

利用AI大模型,一键生成高清短视频 只需提供一个视频 主题 或 关键词 ,就可以全自动生成视频文案、视频素材、视频字幕、视频背景音乐,然后合成一个高清的短视频。

2024-05-13

SleepEEGNet:使用序列到序列深度学习方法的自动睡眠阶段评分

SleepEEGNet:使用序列到序列深度学习方法的自动睡眠阶段评分

2024-05-13

用于快速、安全、可扩展、去中心化应用程序和市场的 Web-Scale 区块链

用于快速、安全、可扩展、去中心化应用程序和市场的 Web-Scale 区块链。

2024-05-06

Kolmogorov-Arnold Network (KAN) 的高效Pytorch实现

Kolmogorov-Arnold Network (KAN) 的高效Pytorch实现 原始实现的性能问题主要是因为它需要扩展所有中间变量来执行不同的激活函数。 对于具有输入和输出的层,原始实现需要将输入扩展为具有形状的张量来执行激活函数。 然而,所有激活函数都是一组固定的基函数的线性组合,这些基函数是 B 样条;鉴于此,我们可以将计算重新表述为激活具有不同基函数的输入,然后线性组合它们。 这种重新表述可以显著降低内存成本,使计算成为简单的矩阵乘法,并且可以自然地进行正向和向后传递

2024-05-06

位置追踪系统 在50-100米范围内提供精确跟踪,用户可以实时监控他人的物流或安全,重新定义我们如何导航周围环境

位置追踪系统 特点:在50-100米范围内提供精确跟踪,用户可以实时监控他人的物流或安全,重新定义我们如何导航周围环境 包括前端和后端系统

2024-05-06

多组数据Wilcoxon-Signed秩检验

多组数据Wilcoxon-Signed秩检验的python 实现 并保留四位有效数字且在数据后面标注显著性等级

2024-04-29

用于 PC 流媒体或视频通话的实时换脸

您可以使用经过训练的面部模型从网络摄像头或视频中的面部交换您的面部。 可以使用自己的单张照片从网络摄像头或视频中的脸部交换您的脸部。 应用程序中还有一个 Face Animator 模块。您可以使用视频或相机中您自己的脸部来控制静态面部图片。质量不是最好的,需要为每对脸进行精细的面部匹配和调整参数,但对于有趣的视频和模因或使用 35 TFLOPS GPU 以 25 fps 的速度实时流式传输来说已经足够了。

2024-04-29

图片修复和图片高清化工具

图像修改历史 优化模型 后处理集成于模型中 超分辨率

2024-04-29

以用户为中心的文档管理系统

这是一个照片和文件组织应用程序,其底层系统专注于为用户提供自由和灵活性。没有专有程序或格式,没有海量的 sidecar 文件,也没有文件系统结构的彻底颠覆。 实现可移植、面向隐私、开放、可扩展且功能丰富的文件组织和重新发现系统。 提供强大的组织方法,特别是标签组合或“可标记标签”的概念。 创建此类系统的实现,该系统可抵御用户在程序外部的操作(修改、移动或重命名文件),同时又不会给用户带来强制性 sidecar 文件的负担,也不会要求他们更改现有的文件结构和工作流。 支持跨不同平台、多用户设置以及具有大型(几 TB)库的广泛用户。 为了让的东西看起来也不错。现在是 2024 年,而不是 1994 年。

2024-04-29

CoreNet:用于训练深度神经网络的库

CoreNet 是一个深度神经网络工具包,允许研究人员和工程师为各种任务训练标准和新颖的小型和大型模型,包括基础模型(例如 CLIP 和 LLM)、对象分类、对象检测和语义分割。

2024-04-29

基于python的实时语音克隆实现

1.原生多语言支持。 2.免费商业使用。 3.灵活的语音风格控制。

2024-04-29

CMC(皮质肌肉相干性)综述.pptx

CMC内容综述

2024-04-22

在您自己的数据上预训练、微调、部署 20+ LLM

在您自己的数据上预训练、微调、部署 20+ LLM。使用最先进的技术:闪光注意力、FSDP、4 位、LoRA 等。

2024-04-15

MagicTime:作为变形模拟器的延时视频生成模型

MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators MagicTime 是一个基于给定提示的变形视频生成管道。主要思想是通过我们提出的方法和数据集来增强视频生成模型准确描绘现实世界的能力。

2024-04-15

任天堂 3DS 模拟器的C++实现

任天堂 3DS 模拟器

2024-04-15

VAR:一种新的视觉生成方法提升了 GPT 风格的模型,超越了观察到的扩散和缩放定律

尝试使用VAR! 我们提供了一个演示网站,供您使用 VAR 模型并以交互方式生成图像。享受视觉自回归建模的乐趣! 我们还提供 demo_sample.ipynb 供你查看有关 VAR 的更多技术详情。 什么是新的? VAR简介:自回归视觉生成的新范式: 视觉自回归建模 (VAR) 将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”,与标准光栅扫描的“下一标记预测”不同。

2024-04-08

矿石数字货币,可以在家中或手机上的任何地方开采

矿石是一种数字货币,您可以在家中或手机上的任何地方开采。它使用一种新颖的工作量证明算法来保证没有矿工会因获得奖励而挨饿。 运作方式 Ore 的主要创新是提供非独家挖矿奖励。这意味着一个矿工找到一个有效的解决方案并不妨碍另一个矿工也找到一个解决方案。Ore 不是让每个矿工都进行赢家通吃的竞争,而是为每个矿工提供个性化的计算挑战。只要矿工为他们自己的个人挑战提供有效的解决方案,该协议就会保证他们将获得一部分供应。由于没有矿工可以从网络上审查,并且有效的解决方案是非排他性的,因此避免了饥饿。

2024-04-08

一个易于自行设置和运行的 Discord 音乐机器人!

一个跨平台的 Discord 音乐机器人,界面简洁,易于自行设置和运行! 特征 易于运行(只需确保已安装 Java,然后运行即可! 快速加载歌曲 无需外部密钥(Discord Bot 令牌除外) 流畅播放 可以调节音乐的“DJ”角色的服务器特定设置 干净漂亮的菜单 支持许多网站,包括 Youtube、Soundcloud 等 支持许多在线广播/流媒体 支持本地文件 播放列表支持(网络/youtube 和本地)

2024-04-01

无限长度和高保真虚拟人视频生成,具有视觉条件并行去噪

一个基于扩散的虚拟人视频生成框架,它 支持使用新颖的视觉条件并行去噪方案生成无限长度。 检查点可用于在人类数据集上训练的虚拟人类视频生成。 支持 Image2Video、Text2Image2Video、Video2Video。 兼容 Stable Diffusion 生态系统,包括 、 、 等。base_modelloracontrolnet 支持多参考图像技术,包括 、 、 、 。IPAdapterReferenceOnlyReferenceNetIPAdapterFaceID

2024-04-01

接受BCH支付 免费、开源和自托管的BCH支付处理器

免费的开源BCH支付处理器,允许您在没有费用或中介的情况下接受BCH。 直接的点对点BCH支付 无交易费用(网络费用除外)) 不收取任何费用,中间人或KYC 非托管(完全控制私钥) 增强的隐私和安全性 自托管 SegWit 支持 闪电网络支持(LND、Core Lightning (CLN)、Eclair) Tor 支持 与好友共享实例(多租户) 发票管理和付款请求 应用程序:销售点、众筹、捐赠按钮 全节点依赖钱包,集成硬件钱包,支持SegWit 仅限BCH构建,单独的社区维护的山寨币构建(支持的山寨币)

2024-04-01

语音数据 <= 10 分钟也可以用来训练一个好的 VC 模型!

一个基于VITS的简单易用的变声框架 使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏 即便在相对较差的显卡上也能快速训练 使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据) 可以通过模型融合来改变音色(借助ckpt处理选项卡中的ckpt-merge) 简单易用的网页界面 可调用UVR5模型来快速分离人声和伴奏 使用最先进的人声音高提取算法InterSpeech2023-RMVPE根绝哑音问题。效果最好(显著地)但比crepe_full更快、资源占用更小 A卡I卡加速支持

2024-04-01

YouTube的替代前端

特征 用户特性 轻 无广告 无跟踪 无需 JavaScript 浅色/深色主题 可定制的主页 独立于 Google 的订阅 所有订阅频道的通知 纯音频模式(在移动设备上具有后台播放功能) 支持Reddit评论 感谢我们的翻译人员,提供多种语言版本 数据导入/导出 从 YouTube、NewPipe 和 Freetube 导入订阅 从 YouTube 和 NewPipe 导入观看记录 将订阅导出到 NewPipe 和 Freetube 导入/导出令人讨厌的用户数据 技术特点 嵌入式视频支持 开发者 API 不使用官方 YouTube API 无贡献者许可协议 (CLA)

2024-04-01

真实感人像动画的音频驱动合成

这是一个用于生成高质量动画的新框架,由 音频和参考人像图像。您还可以提供视频来实现面部重建。

2024-04-01

AI软件工程师,能够执行复杂的工程任务并与用户在软件开发项目上积极协作

功能: 1.核心技术研究:专注于基础研究,以理解和改进代码生成和处理的技术方面。 2.专业能力:通过数据管理、培训方法等提高核心组件的有效性。 3.任务规划:开发用于 bug 检测、代码库管理和优化的功能。 4.评估:建立全面的评估指标,以更好地理解和改进我们的模型。

2024-04-01

一个智能地经营您的业务的软件

功能: Trigger.dev(后台作业) 重新发送(电子邮件) Novu(通知) Github 操作 (CI/CD) GoCardLess(欧盟银行连接) Plaid(加拿大和美国的银行连接) 柜员(美国的银行连接) Loops(营销电子邮件) LogSnag (事件) 配音(短 URL)

2024-04-01

零样本语音编辑和文本转语音模型 可处理有声读物、互联网视频和播客在内的实时数据

可在语音编辑和零样本文本转语音 (TTS) 方面实现最先进的性能,处理包括有声读物、互联网视频和播客在内的实时数据。 要克隆或编辑看不见的声音,只需要几秒钟的参考时间。 如何运行 TTS 推理 有两种方法: 1.使用 Docker。查看快速入门 2.没有 docker。请参阅环境设置 当您位于 docker 映像中或已安装所有依赖项时,Checkout inference_tts.ipynb。 如果你想进行模型开发,如训练/微调,我建议遵循环境设置和训练。

2024-04-01

大语言模型实现:在说话前自学如何思考

这个项目是通过简单地修补 Huggingface 中的基本 Mistral 实现来实现的,使用新的和新的,并以其他方式应用标准功能(例如默认的 Trainer)。我们的补丁被应用于 Huggingface 的版本——我们不能保证对其实现的其他更改不会影响我们的实现,因此为了可重复性,我们鼓励使用相同的版本。transformersmodeling_mistral.pyconfiguration_mistral.pytransformerstransformers4.37.0.dev0src/transformers/models/mistral/ 一个需要警惕的陷阱是:该模型没有被教导不要生成开始和结束的思想标记。因此,在执行实际推理时,有必要掩盖这些内容。 我们通过 Huggingface 提供 8 个想法标记(包括开始和结束标记)模型。

2024-03-25

可移植的Switch 模拟器

用 C++ 编写的,考虑到了可移植性,我们积极维护 Windows、Linux 和 Android 的构建。

2024-03-18

中心化自治监管公司项目

去中心化自治监管公司 (DARC) 是一个公司虚拟机,可以编译和部署到 与 EVM 兼容的区块链,具有以下功能: 多级代币,每级代币可作为普通股、优先股、可转换债券、董事会等 董事、产品代币、非同质化代币(NFT),具有不同的价格、投票权和股息权,其中 由公司的插件(法律)系统定义。 程序由一系列 DARC 指令组成,包括管理代币、股息、投票、立法、 购买、提取现金和其他公司业务。 股息机制,用于根据某些规则向代币持有者分配股息。 Plugin-as-a-Law。插件系统作为监督所有操作的章程或商业合同。都 公司运营需要通过插件系统或相应的投票流程进行审批。

2024-03-18

下一代的AI换脸器实现

下一代的AI 换脸器和增强器。

2024-03-18

用于概率时间序列预测的预训练(语言)模型

Chronos 是一个基于语言模型架构的预训练时间序列预测模型系列。通过缩放和量化将时间序列转换为一系列标记,并使用交叉熵损失在这些标记上训练语言模型。训练后,通过在给定历史背景的情况下对多个未来轨迹进行采样来获得概率预测。Chronos 模型已经在大量公开可用的时间序列数据以及使用高斯过程生成的合成数据上进行了训练。

2024-03-18

Nuxt 3 + Ollama Web的聊天软件

这是一个Nuxt 3 + Ollama Web应用程序。这是 Ollama Javascript 库的一个例子。 功能列表: 模型管理(列表、下载、删除) 与模特聊天

2024-03-11

CVPR2024:用于野外逼真图像恢复的实用算法

(CVPR2024) Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

2024-03-11

MLX框架的一些示例 包含:文本模型、图像模型、音频模型等

此存储库包含使用 MLX 的各种独立示例 框架。 文本模型 Transformer 语言模型训练。 在 LLMs 目录中使用 LLaMA、Mistral、Phi-2 等生成大规模文本。 具有 Mixtral 8x7B 的混合专家 (MoE) 语言模型。 使用 LoRA 或 QLoRA 进行参数高效微调。 带有 T5 的文本到文本多任务转换器。 使用 BERT 进行双向语言理解。 图像模型 在 CIFAR-10 上使用 ResNets 进行图像分类。 使用 Stable Diffusion 生成图像。 MNIST 上的卷积变分自编码器 (CVAE)。 音频模型 使用 OpenAI 的 Whisper 进行语音识别。 多式联运模型 使用 CLIP 联合文本和图像嵌入。 使用 LLaVA 从图像和文本输入生成文本。 其他型号 使用 GCN 对图结构化数据进行半监督学习。 用于密度估计和 采样。

2024-03-11

利用 GenerativeAI 的力量成为您的私人助理

利用 GenerativeAI 的力量成为您的私人助理!可以把它想象成黑曜石,但具有 AI 功能。 主要特点 快速高效:以速度和效率为核心的设计。Quivr 确保快速访问您的数据。 安全:您的数据,您的控制。总是。 操作系统兼容:Ubuntu 22 或更高版本。 文件兼容性:文本、Markdown、PDF、Powerpoint、Excel、CSV、Word、音频、视频 开源:自由是美丽的,Quivr也是如此。开源且免费使用。 公共/私人:通过公共链接与用户共享您的大脑,或将其保密。 市场:与世界分享你的大脑,或使用其他人的大脑来提高你的生产力。 离线模式:Quivr 离线工作,因此您可以随时随地访问您的数据。

2024-03-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除