尚硅谷Flink实时数仓脚本群起springBoot服务器gmall-logger.jar失败

用Nginx进行反向代理:

1.搭建Nginx环境
2.将日志采集的jar包同步到另外两个节点
3.修改模拟日志生成的配置
vim application.yml
# 外部配置打开
#logging.config=./logback.xml
#业务日期
mock.date=2020-07-13
#模拟数据发送模式
mock.type: "http"
#http 模式下,发送的地址
mock.url: "http://hadoop102/applog"

注意这里的配置,原文档这里的配置是有错的(反正我的是不行,改成这样就好了)
4.测试

  1. 运行kafka消费者,准备消费数据
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_log
  2. 启动 nginx 服务
    /opt/module/nginx/sbin/nginx
  3. 运行采集数据的服务器集群的 jar(注意三台都要启动,执行下面命令)
    java -jar gmall-logger.jar
  4. 运行模拟生成数据的 jar
    java -jar gmall2020-mock-log-2020-12-18.jar

执行完上述操作如何可以正常采集数据,kafka能正常消费,那说明集群没有问题。
集群群起脚本

#!/bin/bash
JAVA_BIN=/opt/module/jdk1.8.0_212/bin/java
APPNAME=gmall-logger.jar
case $1 in
"start")
 {
 for i in hadoop102 hadoop103 hadoop104
 do
 echo "========: $i==============="
 ssh $i "$JAVA_BIN -Xms32m -Xmx64m -jar 
/opt/module/gmall-flink/rt_applog/$APPNAME >/dev/null 2>&1 &"
 done
 };;
 "stop")
 { 
 for i in hadoop102 hadoop103 hadoop104
 do
 echo "========: $i==============="
 ssh $i "ps -ef|grep $APPNAME | grep -v grep|awk '{print \$2}'| xargs kill" >/dev/null 2>&1
 done
 };;
 esac

注意,如果用这个群起脚本有问题,可能这里的 J A V A B I N 和 JAVA_BIN和 JAVABINAPPNAME有问题,不要用这个,直接把两个值复制过去就好了

#!/bin/bash
JAVA_BIN=/opt/module/jdk1.8.0_212/bin/java
APPNAME=gmall-logger.jar
case $1 in
"start")
 {
 for i in hadoop102 hadoop103 hadoop104
 do
 echo "========: $i==============="
 ssh $i "/opt/module/jdk1.8.0_212/bin/java -Xms32m -Xmx64m -jar 
/opt/module/gmall-flink/rt_applog/gmall-logger.jar >/dev/null 2>&1 &"
 done
 };;
 "stop")
 { 
 for i in hadoop102 hadoop103 hadoop104
 do
 echo "========: $i==============="
 ssh $i "ps -ef|grep $APPNAME | grep -v grep|awk '{print \$2}'| xargs kill" >/dev/null 2>&1
 done
 };;
 esac```

改完之后,再测试一下,就好了。

总结

遇到脚本群起springBoot服务器gmall-logger.jar失败,首先开启kafka集群,手动开启各个节点的服务器gmall-logger.jar,以及Nginx服务启动,再启动模拟数据生成的jar包,如果不能正常运行,检查哪一步除了问题,如果能正常运行,那就是群起脚本的问题,检查脚本。

flink-shaded-hadoop-3-uber.jar是一个用于Flink的Hadoop 3.x Uber JAR包。Hadoop是一个用于处理大规模数据的开源分布式计算框架,而Flink则是另一个用于流处理和批处理的分布式计算框架。 Hadoop 3.x是Hadoop的最新版本,相比于之前的版本,它引入了许多新的功能和改进。flink-shaded-hadoop-3-uber.jar被用来解决Flink与Hadoop 3.x版本之间的兼容性问题。它包含了Flink所需的Hadoop 3.x依赖的库文件和代码,并将它们以Uber JAR的形式打包在一起。 Uber JAR是将一个应用程序和其所有依赖打包为一个独立的JAR文件的方法。flink-shaded-hadoop-3-uber.jar是一个包含了Flink与Hadoop 3.x兼容性所需的所有库文件和代码的Uber JAR文件。这样,当我们在使用Flink与Hadoop 3.x进行分布式计算时,只需要将这个Uber JAR文件添加到我们的Flink应用程序中,就可以正常运行。 通过使用flink-shaded-hadoop-3-uber.jarFlink能够利用Hadoop 3.x的新功能和改进,例如支持更高的数据可靠性、更高的性能和更好的容错性。此外,由于所有必需的库文件和代码都被打包在一起,我们可以简化配置和部署过程,减少潜在的兼容性问题。 总之,flink-shaded-hadoop-3-uber.jar是一个用于解决Flink与Hadoop 3.x兼容性问题的Uber JAR文件,它包含了Flink所需的Hadoop 3.x依赖的所有库文件和代码,能够让我们更方便地使用Flink与Hadoop 3.x进行分布式计算。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值