- 博客(11)
- 收藏
- 关注
原创 RocketMq发送消息
发送类型Rocketmq提供三种方式可以发送普通消息:同步、异步、和单向发送。同步:发送方发送消息后,收到服务端响应后才发送下一条消息 异步:发送一条消息后,不等服务端返回就可以继续发送消息或者后续任务处理。发送方通过回调接口接收服务端响应,并处理响应结果。 OneWay:发送方发送消息,不等待服务端返回响应且没有回调函数触发,即只发送请求不需要应答。发送方式对比:发送吞吐量,单向>异步>同步。但单向发送可靠性差存在丢失消息可能,选型根据实际需求确定。Demo演示..
2022-02-28 00:12:14 5568
原创 NameServer
NameServer集群结构图NamesrvStartup: NameServer的启动类; NamesrvController: NameServer的核心控制类; KVConfigManager: 读取或变更NameServer的配置属性,加载NamesrvConfig中配置的配置文件到内存; KVConfigSerializeWrapper: NameServer配置信息序列化包装类; RouteInfoManager: NameServer数据的载体,记录Broke...
2022-02-27 19:00:50 708
原创 高级模型初始化(RBM)
受限玻尔兹曼机网络结构图(RBM)RBM包含两个层:可见层(visible layer)和隐藏层(hidden layer)。神经元之间的连接是全连接,即可见层中的每一个神经元与隐藏层中的神经元相连,隐藏层中的神经元也与可见层中的每一个神经元连接。BMP简单解释能量函数和概率分布RBM模型是一个基于能量的模型,因此要首先定义一个能量函数,并利用能量函数引入一系列的相关概...
2018-11-11 20:25:31 2820
原创 RocketMQ
这里写自定义目录标题组成NameServerproducer消息存储consumerACL主从同步机制主从切换link组成NameServerNameServer 中维护着 Producer 集群、Broker 集群、 Consumer 集群的服务状态。通过定时发送心跳数据包进行维护更新各个服务的状态。当有新的Producer 加入集群时,通过上报自身的服务信息,及获取各个 Broker Master的信息(Broker 地址、Topic、Queue 等信息),这样就可以决定把对应的Topic
2022-02-28 00:31:24 130
原创 file does not start with RIFF id
在TIMIT数据读取时不能直接读取出现 "file does not start with RIFF id" 这时需要python 转化sphere格式为wav格式from sphfile import SPHFileimport osdef get_wave_path(wav_path): wave_files = [] for (dirpath, dirname, file...
2019-07-16 15:36:32 4974
原创 正则化基础原理
在一个深度网络的设计过程中,norm层的存在是不可或缺的,缺少norm层会有很大可能造成梯度震荡(梯度消失或爆炸),然而如何选择norm层,需要考虑到norm层本身的特点和前一层输出的响应值分布。不同的深度模型方法需要不同的norm方法来适应自己的网络。Batch Normalizationbatch normalization是最近几年深度学习领域中最重要的成果之一,它的使用有效的加快了...
2019-06-28 13:53:55 282
原创 纯净语音添加噪声
信噪比计算公式:另当前信噪比为q,则有如下公式,a表示噪声信号倍数可以通过上面公式计算出我们需要的a具体代码如下:#coding:utf-8import argparseimport arrayimport numpy as npimport randomimport wave#define parameterdef get_args(): pars...
2019-06-26 22:21:06 3378 4
原创 Bee让电脑出发警报
最近在录数据出现了,数据压缩的问题,用录音笔和高保真图像同时进行,利用电脑自动发出Bee的声音同时开始记录,用java写了一个自动发声的小代码,开始想利用Toolkit.getDefaultToolkit(),但中间出现了问题,换了一种方法写了这样一个小程序。后期会更新Toolkit.getDefaultToolkit()的代码import java.awt.Frame;import ja...
2019-04-07 21:45:19 247
原创 数据洗牌
在实验过程中,可能出现海量数据但是过拟合的现象,这种情况可能是由于train数据和val/test的数据差别较大引起的。在这种情况下可以进行数据洗牌,即通过重新调整数据,将数据重新打乱按照之前的分配比例重新分割数据,形成新的train/val/test这种方式不会损坏数据原有的结构,可能消除过拟合的现象。详细代码如下:#coding=utf-8import numpy as npim...
2019-03-23 22:44:14 1598
原创 L1和L2正则化在pytorch中的应用
最近在自己改写网络的过程中,发现了很多的问题,有一个比较大的问题就是过拟合问题,过拟合问题不仅出现在小数据量的训练中,在大数据量的训练中也有着同样的问题,今天测试了L1和L2正则化,效果还在实验中,如果效果比较好会在后面做及时的更新。L1正则化:L1 正则化公式也很简单,直接在原来的损失函数基础上加上权重参数的绝对值:上式可知,当w大于0时,更新的参数w变小;当w小于0时,更新的参...
2019-03-23 13:24:12 1748
原创 DBN及预训练
深度置信网络如果,把hidden layers的层数增加,可以得到DBM;如果在靠近visible layer的部分使用贝叶斯置信网络(有向图模型,限制层中结点之间没有连接),在最远离可视层的部分使用RBM,就可以得到DBN训练过程:1.首先充分训练第一个RBM;2.固定第一个RBM的权重和偏移量,然后使用其隐性神经元的状态,作为第二个RBM的输入向量;3.充分训练第二个R...
2018-11-11 20:33:56 2260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人