自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 【MySQL安装】MySQL安装时 Initializing database 出现错误,unknown variable ‘mysqlx_port=0.0‘

今天装MySQL时遇到了一个错误,并且我用的是MySQL官方的安装软件,查看日志发现了报错:unknown variable 'mysqlx_port=0.0'。进入目录 C:\ProgramData\MySQL\MySQL Server 5.7。修改 my.ini 文件:注释掉mysqlx_port。这里可以看到,MySQL57的服务被成功启动。使用 mysqld.exe 初始化数据库。删除目录下的Data文件夹。

2024-06-24 10:49:31 1232 3

原创 【Flink】如何定义一个HashSet的ValueState?

在之前用Flink的ValueState时,我总会把ValueStateDescriptor("count", Integer.class)的第二个参数写作XXX.class,导致今天在测试时,无法把HashSet.class作为参数给ValueStateDescriptor。

2023-12-12 17:34:06 411

原创 【Hive】Hive在调用执行MapReduce进程时报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.

在Hadoop的yarn-site.xml中添加JAVA_HOME,添加完之后别忘了分发到其他节点。根据程序提供的错误,我们可以得知,是MapReduce找不到Java的位置,导致程序无法正常执行。从报错的内容上看,应该是调用MapReduce时出现了错误。保存并分发yarn-site.xml,之后重启yarn。之后进入Hive运行刚才的语句,问题成功解决。

2023-12-07 15:18:30 907 1

原创 【JDBC】用Java连接MySQL,并遍历打印结果集时,出现错误:Before start of result set

用Java连接MySQL,并遍历打印结果集时,出现错误:Exception in thread "main" java.sql.SQLException:Before start of result set。

2023-11-01 10:05:42 189 1

原创 【Maxwell】Maxwell监听日志时报错:Unexpected character (‘‘‘ (code 39)): expected a valid value

Caused by: java.sql.SQLException: com.fasterxml.jackson.core.JsonParseException: Unexpected character (''' (code 39)): expected a valid value (JSON String, Number, Array, Object or token 'null', 'true' or 'false')

2023-10-24 17:32:21 411

原创 【Maxwell】Maxwell连接MySQL时报错:com.zendesk.maxwell.MaxwellCompatibilityError: server_id is ‘0‘. Maxwell

【代码】【Maxwell】Maxwell连接MySQL时报错:com.zendesk.maxwell.MaxwellCompatibilityError: server_id is ‘0‘. Maxwell。

2023-10-20 18:43:28 498 1

原创 【Flink】没有设置窗口的延迟,但是滚动窗口依然会延迟计算

问题的原因可能是在通常情况下,Flink 会根据作业的需求自动推荐合适的并行度。所以,当出现类似问题时,你需要考虑什么样的并行度更适合你的应用程序,并相应地进行调整。因为没有手动设置Parallelism的值,所以导致并行度是Flink提供的推荐值,如果Parallelism的推荐值是16,那么将同时运行16个算子。为了方便测试我把滑动窗口设置成了每秒一次,但是,当数据进行到5,2,1633713604000时,第一个时间窗口才会进行聚合计算。

2023-10-09 16:15:08 59 1

原创 【Flink】用Flink实现工业数据处理中“当某设备30秒状态连续为‘预警’,输出报警信息”的问题。

我这里数据源用了自己写的WarningSource,由于,ProcessFunction不支持onTimer方法,所以这里的process中必须要传一个KeyedProcessFunction,所以前面必须要做一个keyBy的操作(传data=>true这个lambda表达式是为了方便测试,后面要改)所以前面DataStream的keyBy方法中的lambda表达式要改为data = data.moduleId。在练习Flink时,遇到这样一个问题,当设备的状态连续30秒为“预警”时,输出报警信息。

2023-10-08 18:26:33 437 1

原创 【Java】如何用Java编写一个用于生成温度数据的数据生成器

由于Java没有样例类,所以可以像Scala的样例类那样自己实现元组功能,也可以考虑直接用Flink给我们提供的Tuple类来实现。这个数据生成器原本是用Scala写的,考虑到用Java写Flink的同学也非常多,所以我再发一期用Java实现数据生成器的文章。在学习大数据的过程中,很多时候会因为没有合适的数据源而发愁,那么,如何Java编写一个数据源用于生成数据呢?这套题是我最近几天做的一套关于使用Flink进行工业数据处理的题,题目是为了监控机器的温度不要过高。过于繁琐,不推荐使用。

2023-10-03 16:28:29 139

原创 【Scala】如何用Scala编写一个用于生成温度数据的数据生成器

在学习大数据的过程中,很多时候会因为没有合适的数据源而发愁,那么,如何编写一个数据源用于生成数据呢?这套题是我最近几天做的一套关于使用Flink进行工业数据处理的题,题目是为了监控机器的温度不要过高。那既然这样,为什么不直接随机生成一个随机温度,而是在37的基础上随机做加减呢?因为,如果直接生成一个随机温度不符合实际生活,温度一定是有一个增减的趋势的。那么,如何写一个数据生成器,来生成测试数据呢?

2023-10-03 15:41:56 150

原创 【Hive】Hive启动时报错:Relative path in absolute URI: ${system:java.io.tmpdir}/${hive.session.id}resources

错误的原因是${system:java.io.tmpdir}/${hive.session.id}resources路径出现问题。3.进入hive-site.xml文件之后,使用/搜索包含${system:java.io.tmpdir}的值。4.把搜索到的项中的value中的值全部替换为刚才创建的文件夹。修改hive-site.xml中的相关路径。2.修改hive-site.xml文件。1.新建一个用于存放tmp的目录。

2023-09-19 14:43:20 166

原创 【FlinkTable】StreamTableEnvironment中的create无法重载方法

在学习FlinkTable时遇到了一个问题,创建StreamTableEnvironment时,create方法出错。原因是错误的将Scala中的StreamTableEnvironment,导入成了java中的StreamTableEnvironment。把 import org.apache.flink.table.api.bridge.StreamTableEnvironment ,修改为 import org.apache.flink.table.api.bridge.

2023-08-11 10:51:32 273 1

原创 【蓝桥杯】第四届JavaA组题目—— 标题:振兴中华

简单的递归,这个矩阵刚好是你横竖走都是对的,所以就是问你从左上走到右下有多少种,如果只有一行或者一列,只有一种走法,否则的话,可以是先走到目的格子上面,或者左面的走法之和。但是如果把顺序打乱,现在,没法用刚才直接求所有路径的办法来实现了,朋友跟我说了一种实现的方法,用DFS搜索来实现。

2023-08-05 22:20:54 47

原创 Flink1.13-Scala: type Context is not a member of object

Flink1.13-Scala: type Context is not a member of object

2023-08-04 17:53:53 146 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除