storm
风翔
继续战斗,勇往无前
展开
-
如何用vscode替代xshell
公司管理日益严格,xshell收费也不含糊,所以只能找free的替代方案了,但是试了很多工具,都不是那么流畅或方便,另外如果用vscode来做开发,来回的切换工具也非常麻烦,vscode自带的terminal越来越方便,最新版本已经可以将terminal拖动到编辑区,所以能不能用vscode来替代xshell呢。答案肯定是可以的,经过一顿ssh命令操作,和插件尝试,我终于找到了个比较好的配置方案,以后可以直接用vscode来登录不同主机,实现shell上的操作啦。首先,要找到QUICKSSH这个插件原创 2022-04-16 12:33:27 · 2201 阅读 · 0 评论 -
spark离线批处理写入kafka调优
采用老版本spark(1.6)在离线批处理环境下,将DataFrame快速写入kafka,通常可以查到的大部分都是针对Spark-Streaming进行Kafka写入的说明,但是在离线批处理环境下,也希望将批量计算的DataFrame中的数据直接写入到某个topic中,在spark2.0以上,可以直接采用spark-streaming的写入方式,只要用read 代替 resdStream 和用 write代替 writeStream 即可。例如,引入以下同步kafka的包<dependency原创 2020-09-10 12:03:29 · 3225 阅读 · 1 评论 -
解决VScode运行Storm的log4j cp65001问题
用Vscode本地运行 Storm任务时,会出现下面的错误提示:main ERROR Unable to inject fields into builder class for plugin type class org.apache.logging.log4j.core.appender.ConsoleAppender, element Console. java.nio.charset.UnsupportedCharsetException: cp65001从而无法显示正常的日志输出。解决办法,原创 2020-07-07 11:16:33 · 1337 阅读 · 0 评论 -
用ZK UI解决storm 读取Kafka时的Fetch offset *** is out of range for topic , resetting offset
可以用ZK UI 读取ToPology信息,然后更新offset值,如果为Null,可建一个假的,但是要保证kafka里有这个offset的数据。然后重启topology即可。原创 2019-07-31 18:45:54 · 4394 阅读 · 0 评论