新手做深度学习项目-话者识别系统

本科毕业设计选的是”基于深度学习的话者识别系统“题目,没接触过深度学习,也不懂话者识别是什么意思,尴尬,只能硬着头皮去一点一点啃了。

这里我总结一下,我做完这个项目之后,对话者识别这个领域,对深度学习这个方向学习的所感所得,分享给大家。

关于话者识别

通过看论文,发现,话者识别在2016年之前,还是停留在用ivector、GMM-UBM,这些简单的机器学习模型,然后用PLDA降维优化;2016年之后,可能深度学习在这个时候忽然间火起来了,有一些学者将DNN(深度神经网络)应用到了话者识别系统中去了,只是简单的用了下DNN ,并没有过多的去优化。

下面,我总结下,我的毕设的工作,如下图所示。
这里写图片描述

数据处理

前期,大量的工作就是语音数据的处理,训练集,测试集的生成,将语音文件处理成自己需要的形式-语谱图;

模型

明确模型的输入输出,直接在机器上运行就可以了;
观察结果,然后调节参数。

在使用CNN时,调节了输入的语谱图,对其归一化处理,然后调节了CNN中的全连接层参数。 最终,识别效果得到了大幅度提升。

residual network是imagenet夺冠的一个神经网络模型,16年火起来的,因此,也拿来用到了话者识别系统中去。毕竟我们的语音是转成图像处理的,效果很显著。

关于深度学习

对于深度学习,我也是新手,接触不久,接下来我会在这个方向一直深入做下去,也会写更多关于深度学习的文章分享给大家。

写一些关于自己对深度学习的小感悟吧。
对于新手,要先学会去用。先不用理会内部的逻辑,明确输入输出是什么就可以。 网上对于常见的深度学习网络开源的太多了,github上,输入cnn,rnn,等等,就能找到好多, 下载下来简单修改下就可以运行。
新手可以尝试keras框架,它是在tensorflow基础上封装的更高层的深度学习框架。使用起来更简单方便。tensorflow可能搞起来难度更大一些。

玩过几个项目之后,熟悉了整个流程,可以去深入学习tensorflow框架,深入去学习每一种神经网络的结构。

这里给大家分享一本深度学习的书,市面上仅有的一本,目前应该还只有电子版。
链接:http://pan.baidu.com/s/1o8KAVWI 密码:bnc9

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
课程导语:    人工智能可谓是现阶段最火的行业,在资本和技术协同支持下正在进入高速发展期。当今全球市值前五大公司都指向同一发展目标:人工智能。近几年,人工智能逐渐从理论科学落地到现实中,与生活越来越息息相关,相关的各种职位炙手可热,而深度学习更是人工智能无法绕开的重要一环。 从AlphaGo打败李世石开始,深度学习技术越来越引起社会各界的广泛关注。不只学术界,甚至在工业界也取得了重大突破和广泛应用。其中应用最广的研究领域就是图像处理和自然语言处理。而要入门深度学习,CNN和RNN作为最常用的两种神经网络是必学的。网上关于深度学习的资料很多,但大多知识点分散、内容不系统,或者以理论为主、代码实操少,造成学员学习成本高。本门课程将从最基础的神经元出发,对深度学习的基础知识进行全面讲解,帮助大家迅速成为人工智能领域的入门者,是进阶人工智能深层领域的基石。 讲师简介:赵辛,人工智能算法科学家。2019年福布斯科技榜U30,深圳市海外高层次人才(孔雀人才)。澳大利亚新南威尔士大学全奖博士,SCI收录其发表过的10篇国际期刊学术文章。曾任深圳市微埃智能科技有限公司联合创始人。CSDN人工智能机器学习、深度学习方向满分级精英讲师。授课风格逻辑严谨、条理清晰、循序渐进、循循善诱,化枯燥为如沐春风,所教学生人数过万。 课程设计: 本课程分为5大模块,19小节,共计540时长(约9小时): 第一部分,课程介绍、目标与内容概览。主要学习人工智能深度学习应用场景;熟悉深度学习主流技术;掌握使用keras解决深度学习主要问题(神经网络、卷积神经网络、循环神经网络),以及深度学习主要内容:神经网络、卷积神经网络、循环神经网络;案例简介。 第二部分,深度学习之多层感知器(MLP)。主要学习多层感知器(MLP);MLP实现非线性分类;深度学习实战准备;Python调用keras实现MLP。 MLP技术点实战案例:第三部分,深度学习之卷积神经网络(CNN)。主要学习卷积神经网络 ; CNN模型分析;主流CNN模型; Python调用keras实现CNN; CNN技术点实战案例:第四部分,深度学习之循环神经网络(RNN)。主要学习循环神经网络;RNN模型分析;Python调用keras实现RNN。 RNN技术点实战案例: 第五部分,综合提升。主要进行迁移学习;混合模型;实战准备+综合实战,以及最后进行课程内容总结。 混合模型技术点实战案例
### 回答1: 以下是一个基于深度学习的后门攻击和防御的新手实验的推荐: 1. 实验名称:基于深度学习的后门攻击与防御实验 2. 实验目标:通过实验,学习如何使用深度学习技术进行后门攻击和防御,并了解后门攻击和防御的基本概念、原理、方法和工具。 3. 实验流程: - 学习深度学习基础知识,如神经网络、卷积神经网络、循环神经网络等; - 学习后门攻击和防御的基本概念、原理、方法和工具; - 实现一个基于深度学习的后门攻击和防御实验; - 测试实验效果,分析实验结果。 4. 实验工具: - Python编程语言; - TensorFlow或PyTorch深度学习框架; - Keras或TensorFlow高级接口; - Caffe或MXNet深度学习框架。 5. 实验步骤: - 步骤1:准备数据集; - 步骤2:训练一个基于深度学习的模型; - 步骤3:在训练好的模型中插入一个后门; - 步骤4:测试后门攻击效果; - 步骤5:实现基于深度学习的后门防御; - 步骤6:测试后门防御效果。 6. 实验结果: - 学会了使用深度学习技术进行后门攻击和防御; - 对深度学习模型的安全性有了更深入的了解; - 学会了使用深度学习框架进行模型训练和评估。 以上是一个基于深度学习的后门攻击和防御的新手实验的简要介绍,希望对你有所帮助。 ### 回答2: 基于深度学习的后门攻击是指在训练过程中故意插入恶意注入样本,使得模型在特定条件下出现漏洞,从而被攻击者利用。而防御方法则旨在检测并抵御这些后门攻击。以下是一个适合新手实验的推荐: 攻击实验: 1. 数据收集:选择一个常见的图像分类任务,如猫狗识别。收集大量的训练数据,包括正常样本和后门样本。后门样本是指具有注入恶意特征的图片集。 2. 训练模型:使用收集到的数据集,训练一个基于深度学习的分类模型,例如卷积神经网络(CNN)。 3. 注入后门:在训练过程中,注入一些恶意样本,如在狗类的图片中添加特定目标点或图案。 4. 测试攻击:使用后门示例对训练好的模型进行测试,检测模型是否在特定条件下识别为恶意类别。 防御实验: 1. 数据预处理:收集大量正常样本和后门样本,完全打乱它们的顺序。确保在训练中找不到明显的模式。 2. 检测机制:设计检测机制来检测是否有后门存在。可以使用降维技术,如主成分分析(PCA)或随机线性投影(RP)来减少特征维度,以查找隐藏的恶意特征。可以使用异常检测、聚类或基于规则的方法进行后门检测。 3. 评估防御:使用多组测试数据集来评估防御方法的性能,包括正常样本、含有已知后门的样本以及未知后门的样本。判断防御方法是否能够准确检测到后门样本,并且对正常样本的判断不会有过多的误报。 通过以上的实验,初学者可以深入理解基于深度学习的后门攻击和防御的基本概念和方法,为进一步研究和实践打下良好的基础。 ### 回答3: 基于深度学习的后门攻击指的是恶意攻击者在训练深度学习模型时,植入一些隐藏的"后门"功能以触发特定的行为。这种攻击方法已经引起了广泛关注。为了更好地了解和应对深度学习后门攻击,可以进行以下新手实验。 攻击实验: 1. 数据植入: 选择一个标准的图像分类数据集,例如MNIST,然后将少数特定图片(例如数字5)修改成具有后门特征的图片(例如添加特定噪声或独特的纹理)。 2. 模型训练: 使用修改后的数据集进行深度学习模型的训练,使用常见的卷积神经网络(CNN)结构。 3. 后门触发: 通过在模型训练中设置特定的标签或触发机制,使模型在遇到植入的后门特征时,对特定输入(例如带有特殊标记的图片)产生不正常的输出(例如将其错误分类为其他类)。 防御实验: 1. 后门检测: 使用由攻击者生成的后门数据,评估新的后门检测算法,例如使用主动学习策略,选择一小部分数据子集,以最大程度上确保数据集中不存在任何后门攻击。 2. 重训练和修复: 将模型与原始数据重新训练,尝试修复植入的后门。通过一系列技术,如剪枝和微调,在保持原始性能的前提下减少后门的影响。 3. 防御性蒸馏: 使用防御性蒸馏方法,将模型从一种训练的防御模型转换为推断模型。该方法通过重新训练模型和添加噪声来削弱后门的影响。 这些新手实验旨在帮助新手更好地理解基于深度学习的后门攻击和防御。但需要注意的是,深度学习安全是一个复杂的领域,需要进一步研究和实验来提高对后门攻击的防御能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值