![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
淡若晨岚
这个作者很懒,什么都没留下…
展开
-
Storm读取Mysql数据库写入hdfs------针对数据量较少的数据
1、spout: package com.TestStorm; import java.io.BufferedReader; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.io.原创 2016-11-17 14:23:29 · 3118 阅读 · 0 评论 -
Storm读取Mysql数据库表写入Mysql数据库另一张表
1、spout: package com.TestStorm; import java.io.BufferedReader; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.io.原创 2016-11-17 14:30:31 · 3997 阅读 · 0 评论 -
storm简单介绍
1、Spout: open:初始化操作 nextTuple:消息接入,执行数据的发射 ack:tuple成功处理后调用 fail:tuple处理失败时调用 declareOutputFieds:声明输出字段 2、Bolt: prepare:worker启动是初始化 execute:接受一个tuple并执行逻辑处理发射出去 cleanup:关闭前调用 declareOut原创 2016-11-17 16:26:55 · 385 阅读 · 0 评论 -
zookeeper client 超时 解决方法
spout一次读取百万数据,顶不住,zookeeper以为spout死了,所以超时,之后改成几万条数据读取,spout没有问题,spout发射数据太快,太多了,导致tuple的等待队列太大,bolt处理不过来,zookeeper以为bolt死了,之后加大bolt的并行数,问题解决原创 2016-11-17 16:29:33 · 2478 阅读 · 0 评论 -
Storm读取Mysql数据库不能加大bolt并行数写入hdfs解决方法
解决方法:建立一个中间表 spout发射数据给bolt,bolt进行数据清洗,然后插入到一张中间表里面,然后再写一个spout,这个spout不发射数据,每次next时去中间表查看,如果超过预计数据的条数,可以读过来批量插入到hdfs里,一直只有一个spout在写hdfs,或者不写spout,直接写个java程序,每分钟看一次数据库中间表,有数据就写入hdfs。同样,bolt每次被原创 2016-11-17 16:35:07 · 1738 阅读 · 0 评论