- 博客(177)
- 收藏
- 关注
RSS订阅原创 filetype Python包
filetype是一个 Python 包，用于检测文件的类型（MIME 类型和扩展名）。它通过读取文件的二进制数据（magic numbers 或签名）来快速而准确地识别文件类型，而无需依赖文件的扩展名。
2024-12-04 16:28:34
413
原创 transformer
转导模型是一种直接从已知样本（训练数据）预测特定目标样本（测试数据）的方法，而不是像归纳学习那样先学习一个通用的规则（模型）再应用于未知数据。转导模型专注于直接解决给定的任务（输入到输出的映射）。它并不强调总结出通用的规律，而是针对问题域的具体实例优化。
2024-12-02 18:42:59
834
原创 什么是Monkey测试
Monkey测试是一种非结构化的测试方法，其核心思想是像“猴子乱按键”一样，随机地向应用程序发送各种无序的输入，包括按键、手势、触摸、点击等，以观察系统的行为。它模拟用户的随意操作，帮助发现潜在的崩溃、异常或未预见的问题。Monkey 测试是一种简单而有效的随机测试方法，适用于稳定性和压力测试，但不适合替代结构化的功能测试。它更像是一种补充性测试工具，帮助发现意外问题。（Monkey Testing）是一种随机测试技术，主要用于测试应用程序的稳定性、可靠性和异常处理能力。Android 平台上的。
2024-12-02 14:32:11
738
原创 vscode连接远程开发机报错
这个报错主要说明了 VSCode 通过 SSH 连接到远程服务器时，SSH 客户端未能验证远程主机的密钥。这是一个常见问题，通常与 SSH 配置或已知主机密钥有关。由于主机密钥验证失败，VSCode 无法通过 SSH 建立连接，因此后续与远程主机的通信失败。解决主机密钥验证问题后，VSCode 应该可以顺利连接到远程服务器。确保 VSCode 使用正确的 SSH 配置文件路径。，并按回车以接受密钥，密钥将被添加到。vscode连接conf配置文件。中的配置与实际情况匹配。文件，删除对应的旧记录。
2024-11-21 11:53:00
1029
原创 动手学深度学习73 课程总结和进阶学习
即是通过 Tabula 工具从 PDF 中提取出来的结构化表格数据。Tabula 通过自动检测 PDF 中的表格结构，将内容转化为可直接分析的格式，适合在财务、统计等需要从 PDF 文件中提取数据的场景下使用。
2024-11-15 19:45:43
919
原创 初学人工智不理解的名词3
方法定义与用途优势CFM一致流匹配，通过流模型建模目标分布，适合直接生成语音。提高语音质量，减少处理步骤，生成更加一致和自然的语音。One-Step 蒸馏一次性知识蒸馏，将教师模型的知识高效转移到学生模型中，压缩模型并加速生成过程。减少训练时间，提升生成效率，适合移动端或嵌入式设备部署。ReFlow可逆流匹配，通过流模型优化生成过程，捕获语音分布并改进波形生成。增强生成模型的灵活性和音质，减少训练不稳定性，支持高效的波形生成。
2024-11-15 15:22:58
1172
原创 动手学深度学习72 优化算法
任意两点连线，所有线上的值都在集合里面–凸集在机器学习，凹凸函数的区别？凸函数表达能力有限动量法： 比较平滑的改变方向，两个下降方向不一样【冲突】的时候，抵消掉一些使梯度的更新不那么剧烈。看过去两三个梯度。mementum–超参数【beta】Adam不一定比SGD更好，只是，做了非常多的平滑。
2024-11-15 11:00:00
407
原创 动手学深度学习70 BERT微调
13 bert一般可以用工具转成c++ 开销大。考虑怎么提升bert性能。14 设备性能不高，可以用蒸馏bert。模型中有大量冗余的东西。9 10, 一般不固定，固定参数可以使训练速度加快，可以尝试。12 本身很快+技术细节–>精度高。
2024-11-14 11:53:08
627
原创 初学人工智能遇到不理解的词汇2
对于一个 ( m \times n ) 的矩阵 ( A )，它的奇异值定义为 ( A ) 的奇异值分解（SVD）所得结果中的一部分。奇异值分解可以写成：( U ) 是一个 ( m \times m ) 的正交矩阵（正交矩阵意味着它的列向量是单位正交的）。( V ) 是一个 ( n \times n ) 的正交矩阵。( \Sigma ) 是一个 ( m \times n ) 的对角矩阵，其中对角线上非零元素为矩阵 ( A ) 的奇异值。
2024-11-14 11:28:41
1003
原创 动手学深度学习69 BERT预训练
3亿参数 30亿个词在输入和loss上有创新两个句子拼起来放到encoder–句子对cls-class分类sep-seperate 分隔符 分开每个句子 告诉是哪个句子 两个句子给不同的向量位置编码不用sin cos， 让网络自己学习bert–通用任务encoder 是双向的，两个方向的信息都可以看到预测mask是谁。改动：让模型在做微调的时候不要看到mask就做预测。
2024-11-13 18:10:54
472
原创 动手学深度学习67 自注意力
k 窗口的大小每个kernel窗口都可以并行计算，GPU计算最长路径：信息是怎么传递的 filed–视野自注意力适合处理比较长的文本，无视距离，可以看比较长的文本，但是计算复杂度高【代价】位置信息加到输入数据里面。行：样本。
2024-11-05 13:27:17
393
原创 动手学深度学习66 使用注意力机制的seq2seq
key value等价 是一个东西 第i个词rnn的输出根据加权的不同，解码器前面用编码器前面的输出，到后面用后面的输出。
2024-11-04 14:04:59
411
原创 动手学深度学习64 注意力机制
非参： 没有参数。给定数据：key value对x：query。来了一个新数据，只看和新数据比较相近的某些数据的y。类似于K近邻K: kernel 核， 函数，计算新来的数据和已有的数据的距离。
2024-10-31 13:58:53
300
原创 初学人工智能遇到的不理解的专业词汇
Dijkstra 算法是一种高效的最短路径搜索算法，尤其适用于边权重为非负值的加权图。通过优先队列和贪心策略，它可以快速计算出从单一源点到其他所有节点的最短路径。遗传算法通过模拟自然选择的过程，能够优化神经网络中的权重、偏置、架构和超参数等。它提供了梯度下降之外的一种全局优化方法，尤其在面对复杂、多峰值、不可微的损失函数时表现出色。然而，遗传算法的计算代价较高，适用时需要权衡计算资源与优化效果。给定一个无向图 ( G = (V, E) )，点覆盖。
2024-10-31 13:30:07
654
原创 动手学深度学习62 seq2seq
3. QA3 encoder输入embedding_size,输出位hindersize 不能直接按位相加，长度不一样。4 不是。 word2vec用的不多了。embedding是重新初始化，开始训练的。5 encoder output没意义。decoder output是预测6 实际句子的长度，算loss、attention不看padding的内容9 时代的洪流10 学过不等于会用 what how why11 不能放到下一条句子。通常取相对较长的句子，不截掉太多。12 decod
2024-10-18 10:30:00
386
原创 动手学深度学习59 双向循环神经网络
视频：https://www.bilibili.com/video/BV12X4y1c71W/?p=2&spm_id_from=pageDriver&vd_source=eb04c9a33e87ceba9c9a2e5f09752ef8课件：https://courses.d2l.ai/zh-v2/assets/pdfs/part-3_7.pdf课本： https://zh-v2.d2l.ai/chapter_recurrent-modern/bi-rnn.html错误使用，不能用双向循环神经
2024-10-08 18:57:53
477
原创 Python使用cuda报错KeyError: ‘LOCAL_RANK‘
那么这个命令会让当前任务只看到编号为 0、1、2、3 的 GPU，并在一个节点上启动 4 个进程，每个进程对应一个 GPU 进行分布式训练。是 PyTorch 用于启动分布式训练的命令行工具。这是一个在使用 PyTorch 进行分布式训练时常用的命令行指令。在Python脚本调用之前，指定CUDA-visuble。如果有 4 个 GPU，并且设置。
2024-10-08 10:25:42
896
原创 动手学深度学习56 GRU门控循环单元
RNN模型# 包装rnn函数"""从零开始实现的循环神经网络模型"""# 重写 __call__ 或者 写forward函数都行# x load的数据集 (批量大小，时间步数) onehot 整型变成浮点型# 预测"""prefix： 给定句子的开头num_preds： 预测多少词在prefix后面生成新字符"""for y in prefix[1:]: # 预热期for _ in range(num_preds): # 预测num_preds步# 多分类 拿出最大概率的索引。
2024-08-15 10:00:00
303
原创 动手学深度学习55 循环神经网络 RNN 的实现
每个批量每个样本要做t次分类【任意时间点都要做一次分类】，所以要乘。不做detach会记住前面计算的东西，误差反传会多算东西。16 每一个帧用cnn抽特征–向量，不需要one-hot. rnn不能处理特别长的序列。23 h-长为256的向量，很长很难计算。变长类似很长的mlp，容易过拟合。27 端侧–主要车上，未来家里所有深度学习都跑在车上–家庭超级计算机。7 不会预测特别长的东西。1 num_steps 输入到小批量里面面样本句子的长度。21 字符预测起来比较简单，输出是28voab，分类数少。
2024-07-28 09:00:00
2382
13
原创 git环境编译升级
是一个配置软件构建过程的重要步骤，它通过检查系统环境并生成适当的 Makefile 文件，为后续的编译和安装过程做好准备。通过指定--prefix选项，你可以灵活地控制软件的安装位置。make all执行编译过程，生成所有目标文件。不会安装文件。prefix变量在这个阶段通常没有影响。执行安装过程，将编译好的文件复制到指定的安装目录。prefix变量在这个阶段决定了文件的安装位置。make all用于编译项目。用于安装编译后的文件。prefix变量通常在安装阶段起作用，指定文件的安装路径。
2024-07-16 09:00:00
796
原创 动手学深度学习54 循环神经网络
潜变量和隐变量的区别：隐变量通常是现实生活中存在的东西,只是我们没有观察到;潜变量可指代现实生活中不存在(人为创造)的东西。g值正常，不做处理，g过大，将值处理成theta，保证g不会过大–不会超过theta值，防止梯度爆炸。输出【o_t】发生在观察【x_t】之前。根据o_t和x_t的值计算损失。循环神经网络可以认为是一个简单的递归网络。递归理解为何树一样的东西。困惑度=1，下面候选词词概率最高。n个输出的多分类交叉熵损失平均值，再取指数–困惑度。所有x的信息都存储到h里面。做指数，损失数值会变大。
2024-07-09 17:33:21
786
原创 动手学深度学习53 语言模型
n越大，空间复杂度越大。X：两个长为num_steps=5的序列，Y：每个元素是对应X序列的后一个元素。一元语法：马尔科夫假设tao=0 基本认为每一个字是独立的，不管前面的东西。第二种做法：两个相邻小批量的数据是相邻的。数据是连续的，可以做更长的序列出来。3 不存count为0的词，空间复杂度还是n–文本长度。最大的好处：可以处理很长的序列。每次看的序列是固定的。不调用d2l的Vocab，按照前面的代码重新写一份。2 连续单词是有时序的，有先后顺序，不能打乱。6 T 序列的长度，每次看多长的序列。
2024-07-09 15:06:22
584
原创 制作TTS前端模型数据集，预训练bert模型的字典数据是怎么调用的-chatgpt问答生成
这行代码的主要作用是加载和初始化一个预训练的 BERT 中文模型的分词器，使得你可以将自然语言文本转换为模型可以理解的 token 格式，从而进行进一步的自然语言处理任务，如文本分类、命名实体识别等。上述步骤包括数据预处理、数据编码、构建训练数据集和训练模型。通过这些步骤，可以将韵律标签和多音字标签数据转换成可以用于训练 BERT 模型的格式，并进行模型训练以提升 TTS 系统的表现。
2024-06-27 15:47:35
955
原创 TTS训练环境安装
这些库涵盖了数据处理、代码质量检查、机器学习、科学计算、音频处理、自然语言处理和实时通信等多个领域。根据你的项目需求，可以选择合适的库来完成相应的任务。如果你使用 Anaconda 或 Miniconda 管理 Python 环境，建议使用。这个模块通常用于自然语言处理任务中，例如使用 BERT、GPT 等预训练模型。创建的环境），请确保你已经激活了相应的环境，并在其中安装了。错误表示在你的 Python 环境中没有安装。如果你使用的是 Python3，请确保使用。错误，并在你的项目中使用。
2024-06-27 10:22:54
1375
原创 学习TTS遇到的问题3
在注意力机制中的主要作用是确保模型在计算注意力时能够正确忽略无意义的填充值，从而避免这些无意义的数据对模型的训练和推理产生负面影响。在实现具体模型时，正确使用可以有效提升模型的性能和稳定性。是一个非常有用的工具，当你需要上下文管理器接口但不需要实际管理任何上下文时，可以使用它。它简化了代码，使得处理条件上下文管理变得更加容易和直观。模型校准是提升预测概率可靠性的重要步骤，尤其在需要高置信度概率预测的应用中，比如医疗诊断、金融风险评估等。
2024-06-26 16:40:43
1111
原创 git提交代码流程
Arcanist 是一个强大的命令行工具，为 Phabricator 提供了丰富的功能支持。通过arc命令，你可以轻松地管理代码审查、运行代码检查、管理任务以及与 Phabricator 进行各种交互。了解并熟练使用 Arcanist，可以极大地提升你的开发和协作效率。arc diff是 Phabricator 的一个强大工具，用于生成代码差异并提交代码评审请求。在使用 Git 提交代码时，arc diff可以显著提升代码评审和协作的效率，确保代码的质量和一致性。
2024-06-26 09:00:00
1205
原创 学习TTS遇到的问题2 什么是TCN模型
由下图箭头可知，TCN第一层，每相邻两个单元输出到一个单元，下一层网络间隔一个单元输出到下一层网络，第三层网络间隔2的指数 两个单元输出到下一层网络， 一直继续下去网络的顶层能看到底层所有单元的信息。dilation（膨胀）在卷积操作中引入了空洞，使得卷积核的感受野更大，而不需要增加卷积核的大小。具体来说，在应用 dilation 时，卷积核的每两个相邻元素之间会有一些间隔。这些间隔的数量由 dilation rate（膨胀率）决定。
2024-06-25 15:52:33
711
原创 动手学深度学习52 文本预处理
核心：怎么把文本处理成能训练的数据。中文分词-jieba。len28： 26字母++空格文本预处理：输入文本–>输出一个整型的向量。
2024-06-20 16:18:56
262
原创 动手学深度学习51 序列模型
难点：从 600开始，只给前4个真实数据点预测接下来四个数据，后续数据不再给真实数据，用预测的数据继续预测。桃红色：只给4个真实数据点预测接下来的数据，后续数据不再给真实数据。：给一些数据，用数据前面的部分数据做预测，对见过的数据建模。： 可以认为是隐变量的一个稍微推广类型，统计上稍有区别。蓝色：每次给4个真实数据点预测下一个数据。绿色： 给4个点，预测未来16个数据点。桃红色：每次给4个真实数据点预测数据。红色：给4个点，预测未来64个数据点。不写成函数的形式，写成变量的形式。给定过去的数据，预测未来。
2024-06-20 14:54:28
502
原创 TTS前端原理学习 chatgpt生成答案
本文提出了一种基于Distilled BERT模型的统一普通话文本到语音前端模块。该模型通过预训练的中文BERT作为文本编码器，并采用多任务学习技术来适应TTS前端的两个重要任务：韵律结构预测（PSP）和字素到音素转换（G2P）。然后，通过使用TinyBERT的知识蒸馏技术将BERT编码器压缩为更小的模型，使整个模型的大小仅为基准前端模型的25％，同时在两个任务上保持竞争性能。通过这些方法，我们能够以轻量且统一的方式运行整个TTS前端模块，更适合在移动设备上部署。
2024-06-19 18:12:02
1192
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人