kuiper
文章平均质量分 70
longzu0
这个作者很懒,什么都没留下…
展开
-
笔记-EMQ MQTT
EMQ X (Erlang/Enterprise/Elastic MQTT Broker)介绍/使用说明MQTT协议轻量的发布订阅模式消息传输协议,专门针对低带宽和不稳定网络环境的物联网应用设计。特点开放消息协议,简单易实现发布订阅模式,一对多消息发布基于TCP/IP网络连接1字节固定报头,2字节心跳报文,报文结构紧凑消息QoS支持,可靠传输保证介绍EMQ X实时 MQ...原创 2020-03-01 23:47:11 · 400 阅读 · 0 评论 -
对demo连续读取,并测试效率
直接查询结果:select row2fft(channel0) from streamReadWavA读取了几个以后卡住了,一会后query端口输出:EOF,统计结果select max(row2fft(channel0)) from streamReadWavA前面27个正常,query比server慢大概四五个文件。接着出现错误推测是我每次打开文件流没有关闭。...原创 2020-05-07 21:36:53 · 187 阅读 · 0 评论 -
kuiper-3-用SQL自定义规则
官方规则的教程:https://github.com/emqx/kuiper/blob/master/docs/en_US/rules/overview.md添加规则过程新建rule1.txt{ "sql": "SELECT COUNT(*) As t_count FROM demo GROUP BY TUMBLINGWINDOW(ss, 1)", "actions": [ ...原创 2020-03-22 13:29:00 · 544 阅读 · 0 评论 -
kuiper-日志-0408测试random.go
为kuiper扩展resource包括编写.go文本文件,配置为插件两步,先直接使用自带的random.go,省去了第一步编写程序的麻烦。random.go中用到的结构的定义:......type randomSource struct { interval int seed int pattern map[string]interface{} cancel conte...原创 2020-04-14 21:31:19 · 205 阅读 · 0 评论 -
jmeter占用内存测试
5000个线程,循环pub线程是一个一个往上增加的,几分钟后,增加到1000个左右时,已经基本不在增加波动,cpu占用情况:运行中线程不在增加以后,结束jmeter,此时cpu占用并未降下来退出jmeter,cpu占用恢复...原创 2020-03-22 13:29:17 · 2148 阅读 · 0 评论 -
Kuiper-4-分享-kuiper
cli命令功能解释命令streamrulecreate创建流/规则createcreate stream $stream_name -f $stream_def_filecreate rule $rule_name $rule_json / -f $rule_def_filedescribe查看状态?describedescribe strea...原创 2020-03-01 23:32:27 · 523 阅读 · 0 评论 -
kuiper-9-教程-function插件编译
参考官方教程:https://github.com/emqx/kuiper/blob/develop/docs/zh_CN/plugins/plugins_tutorial.md我的配置我的go版本1.13我的gopath:/home/zhang/gopath我的测试过程如下:创建项目和教程一样在$gopath/src目录下新建文件夹plugin_project,作为插件项目地址,内...原创 2020-04-14 21:37:28 · 338 阅读 · 0 评论 -
kuiper-11-扩展-function-fft
任务进行kuiper的function扩展,增加fft处理流程。最终目标:在mosquitto发送float数组([]float)消息,在kuiper中进行fft变换后,输出对应的幅值信息。例如,输入[]float数组[1,2],在matlab中验证结果:所以应该输出float数组[1,3]准备工作fft算法的golang实现//输入时域数据,输出振幅func fftabs(d...原创 2020-04-16 14:30:11 · 228 阅读 · 0 评论 -
kuiper-2-支持的函数
添加自定义算法到kuiper的实时流分析过程中kuiper规则介绍,官方文档:https://github.com/emqx/kuiper/blob/master/docs/en_US/rules/overview.md有两种方法添加规则,kuiper支持的函数内置函数官方文档:https://github.com/emqx/kuiper/blob/master/docs/en_US/...原创 2020-03-22 13:30:22 · 233 阅读 · 0 评论 -
kuiper-6-jmeter测试2
kuiper运算速度测试基本想法kuiper编写规则,将收到的数据写入日志在jmeter中发送一系列随机数,并附上时间戳;随机数产生:csv,随机函数,pub勾选随机string在jmeter监控窗口随机点开一个pub,查看消息,记录随机数和时间戳在kuiper的日志中,搜索随机数,得到该随机数对应的时间戳两个时间戳之差就是kuiper处理的时间https://blog.csdn....原创 2020-03-22 13:29:43 · 167 阅读 · 0 评论 -
kuiper-8-分享-function插件报错
本次的目标时build echo.go为插件,并在rule中使用它。在执行到“创建规则”时出现错误: plugin.Open("/usr/local/kuiper-0.1-linux-x86_64/plugins/functions/Echo.so"): plugin was built with a different version of package internal/cpu具体操作流...原创 2020-04-14 21:28:34 · 600 阅读 · 1 评论 -
kuiper-7-编写function.go
扩展source扩展function开发定制功能:编写go程序,实现api.Functionbuild成插件go build --buildmode=plugin -o plugins/functions/MyFunction.so plugins/functions/my_function.gogo程序要实现 Validate方法,这个方法会在SQL验证时被调用。在此方法中,...原创 2020-04-14 21:43:29 · 148 阅读 · 0 评论 -
2020513测试wav读取
以通道0为例采样频率:46875Hz得到的文件得到的文件包含524287个逗号,一共524288个元素,刚好是2的19次方,只进行了fft,所以是0到2Π之间的值,是一个两边(0附近,2Π附近)峰值高,中间(Π附近)峰值低的图,如果想要得到模拟信号的fft,需要把右边的平移过来,还需要变换坐标,绘图把这些数据绘制出来后:注意图中横坐标单位hz,横坐标为0附近的值很高,所以截断了0附近的80个点:如果不补0,只处理前面262144个数据注意图中横坐标单位hz,横坐标为0的值很高,所以截原创 2021-11-08 13:38:57 · 628 阅读 · 0 评论 -
kuiper-10-编写source插件
准备工作数据来源是/home/zhang/test.txt文件内容大致为:1234.。。。编写.go文件build插件//go build --buildmode=plugin -o plugins/sources/Random.so plugins/sources/random.gogo build --buildmode=plugin -o /home/zhang/go...原创 2021-11-08 13:37:24 · 117 阅读 · 0 评论 -
kuiper-12-sources-readfile.go
处理流程编写readfile.go编写readfile.yml配置文件编译成.so启动kuiper创建stream查询所有readfile.go任务是读取txt文件,每读取一行就输出,读到最后结束。其中,struct readfile为:type readfile struct { filepath string //文件路径 cancel context.Canc...原创 2021-11-08 13:37:07 · 112 阅读 · 0 评论 -
wav文件解析
以这个文件为例:52 49 46 46:Riff标志a6 17 02 00:后面的文件大小为0x000217a6,总文件大小为这个数+8字节57 41 56 45:wav//fmt区66 6d 74 20: fmt10 00 00 00:16个字节后是data区01 00:编码格式为pcm01 00:单声道80 bb 00 00: sample rate ; 采样频率(每秒样...原创 2021-11-08 13:36:54 · 283 阅读 · 0 评论 -
golang fft
fft在后面stream输入格式1. 两个参数:前者是double[64],记录输入,后者是int n=64,记录输入个数2. 一个参数:double[64],记录输入3. 一个参数:doulbe,当数量达到64是,停止第二种好一点,第一种多了一个多余的参数,第三种要接收64次。把数据量改小一点,fft函数,输入 pr:=float64{1,2},应该是输出3,1。所以strea...原创 2021-11-08 13:20:34 · 609 阅读 · 2 评论 -
读取wav并fft
错误:source每读取1024个字节就传给consumer通道source的源码为:。。。fmt.Printf("source第%v次返回的数组第3个数字%v\n",num,ret_arr1[2])consumer<-api.NewDefaultSourceTuple(s.pattern,nil)function每接收到一个数组就进行fft:源码为func (f *row...原创 2021-11-08 13:12:20 · 728 阅读 · 0 评论 -
wav读取优化
文章目录耗时分析:1. 一个线程读取数据并fft条件结果2. 一个线程不断读取并fft并保存条件结果3. 用三个线程分别读取、fft、保存4. 一点疑问5. 总结修改读取文件部分代码逻辑1. 修改方法:2. 修改后各部分用时:改写fft代码1. 改写过程2. 结果3. 总结:4. 后期改进空间移植到ubuntu系统移植到Kuiper移植过程速度测试性能:耗时分析:在windows上进行耗时分析1. 一个线程读取数据并fft条件读取,并fft。对一个wav文件的处理过程包括:读取头文件,读取原创 2021-11-08 13:05:59 · 215 阅读 · 0 评论 -
cnn测试
query端收到的结果:[{data:[a,b,c...1024个...]}][{data:[a,b,c...1024个...]}]。。。无限重复server端:收到了result[0],对应源码中的print(result[0]),其实是无限重复输出这几句话:/reader.cc:31] Reading SavedModel from: /home/zhang/cnnMode...原创 2021-11-06 09:50:06 · 210 阅读 · 0 评论 -
function处理所有通道
调用时(规则)select row2fft(channelall,info) from streamReadWavsources以前返回的map有4个元素:channel0, channel1,channek2,info现在返回两个元素:channelAll, infofunction :失败了,sources中map只能是[]float,要么处理固定3通道,要么把多个数组合起来(不好,难以拆分),要么不用kuiper现有版本function包括两个版本,一个返回[]float另一个返回[原创 2021-11-06 09:49:22 · 81 阅读 · 0 评论 -
Kuiper源码分析
第一层目录:commondeploydocsetcexamplefvt_scrptspluginsxsqlxstream其中,比较重要的应该是:common,xstream,xsql先研究一下xstreamapiclicollectorscontextsdemoextensionsmyfunctionmywavnodesoperatorsserversinkstestfunccs.gostreams.goutil.goutil_test.goap原创 2021-11-05 19:27:05 · 223 阅读 · 0 评论 -
kuiper-1-安装测试
Ubuntu 16.04安装测试MQTT Mosquittomosquitto_sub -h localhost -t "mqtt" -v1【-h】指定要连接的MQTT服务器【-t】订阅主题,此处为mqtt【-v】打印更多的调试信息3.打开另一个终端,发布主题mosquitto_pub -h localhost -t "mqtt" -m "Hello2 MQTT"EMQx Br...原创 2020-02-24 19:39:13 · 934 阅读 · 1 评论 -
kuiper-5-用JMeter测试kuiper性能
https://www.jianshu.com/p/244b4b86dd19https://www.jianshu.com/p/3205b62a5091jmeter安装jmeter依靠java,1需要先安装jdk安装jdkhttps://blog.csdn.net/baidu_38172402/article/details/80747916官网下载,安装,并添加环境变量,我安装的是j...原创 2020-03-16 18:27:28 · 589 阅读 · 1 评论