- 博客(24)
- 收藏
- 关注
RSS订阅
原创 解决java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binaries
解决此类问题，本人有一套美妙的解决方案。非常简洁。谢谢大家参考：关于Eclipse报IO异常hadoop的问题。1.首先拉winutils.exe ：在C或D盘下，创建一个Hadoop文件夹，在此文件夹下再创建一个bin文件夹，把winutils.exe拉到bin文件夹下。2.配置环境变量：打开电脑的环境变量窗口，在下半截系统变量那里新建一个变量名为HADOOP_HOME变量值为D:\Hadoop...
2018-07-11 14:55:17
2509
转载 Sublime Text for Mac的快捷键
转载原文链接：https://blog.csdn.net/liaowenxiong/article/details/113640489。
2023-11-22 15:13:42
170
原创 DBeaver连接SqlServer报“The server selected protocol version TLS10 is not accepted by client prefere”的错误
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client preferences [TLS13, TLS12]”。TLSv1, TLSv1.1 和。
2023-11-03 17:16:02
898
原创 mac m2 sublime text 4160 使用授权
使用方法：下载 Sublime_Text_Build_4160_TNT.dmg 然后打开，再点进去如图所示文件夹。复制下面的txt文件到桌面，然后打开后，复制里面的授权码粘贴进去就行。从启动台打开后，如果提示已损坏的话，终端输入如下：解决已损坏提示。点进去看到如下：双击打开，如图拖动后，就安装完了。再次打开后会让输入授权码，打开下图文件夹。
2023-10-26 16:04:16
351
原创 mac m2 redis 安装 7.2.2
1.直接官网 https://redis.io/download/#redis-downloads 下载最新版 7.2.2 压缩包。8.ojbk,刚开始安装6.2.7的版本，对 13.5 (22G74) 有bug,修复了补丁，还没发布。所以直接用的最新的版本。2.解压缩后，放到 /usr/local/ 目录下，我的mysql也放到这里了，所以就把redis也放一起了。3.终端进入 /usr/local/ 目录下，运行执行编译测试指令。4.会执行个几分钟的时间，然后结果如下所示没有报错，则说明环境正常。
2023-10-25 16:02:34
413
1
原创 Flink CDC 基于mysql binlog 实时同步mysql表(无主键)
由于无主键， debezium.snapshot.mode' = 'initial',这个参数会导致，程序运行几次，源表数据就会同步几次到目标表，并不会去重，如果想一直这个参数运行，需要在插入前先清空表，但是如果是数据量大的，推荐还是先用这个参数同步历史数据，完成后，再改为 schema_only，启动程序，然后把上面一个程序干掉。mysql 版本5.7 注意：需要开启binlog，因为增量同步是基于binlog捕获数据。具体前提设置，请看这篇，包含 binlog 设置、Maven......
2023-06-26 17:18:39
2065
1
原创 Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql（无主键）
现在操作的是源表和目标表都无主键数据实时同步，其实是在flink建立和sink表的关联时，指定了主键，只不过是flink实时同步程序的需要，sink目标表没有主键。// 这使得LogMiner的挖掘速度大大提高，但代价是无法跟踪DDL的变化。//online_catalog -使用数据库的当前数据字典来解析对象id，并且不向在线重做日志中写入任何额外的信息。加上这俩个参数后，延迟应该就是1-3秒，如果不加的话，那就是几分钟的延迟了。本地测试是没有问题的，比起mysql稍微有点延迟，2. Mysql 建表。
2023-06-26 16:57:49
2017
3
原创 Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql
本地运行控制台是不会输出什么提示的，不像mysql cdc 还可以看到一些查看binlog日志信息。(2).注:必须为捕获的表或数据库启用补充日志记录，以便数据更改能够捕获已更改数据库行的之前状态。具体可用参数，可查官网，也可查阿里介绍，毕竟这是阿里大大的。下图是mysqlCDC的，可以看到有连接，有读取binlog日志，并且还可以打印，后续插表也正常。下图是有打印的，但是只能打印，后续插表动作就失效了。如果不打印，那就是什么都没有。具体对应数据类型，还需查看官网，最下面有列出所有对应的数据类型。
2023-06-26 16:11:38
3913
原创 Flink CDC 基于mysql binlog 实时同步mysql表
环境说明：flink1.15.2mysql 版本5.7 注意：需要开启binlog，因为增量同步是基于binlog捕获数据windows11 IDEA 本地运行先上官网使用说明和案例：MySQL CDC Connector — Flink CDC documentation1. mysql开启binlog (注意，引擎是 InnoDB,如果是ndbcluster，本人测试是捕获不到binlog日志的，增量相当于没用，不知道是不是ndbcluster 下的binlog 配置是否有问
2023-06-25 18:17:23
4182
2
原创 java.lang.NoSuchMethodError: org.apache.commons.cli.CommandLine.hasOption(Lorg/apache/commons/cli/Op
java.lang.NoSuchMethodError: org.apache.commons.cli.CommandLine.hasOption(Lorg/apache/commons/cli/Option;)Z
2023-06-25 12:24:47
559
原创 Flink DataStream 基于Select方式一次性同步Mysql表到Mysql
代码写的很菜，各位大佬如有优化的点子，还请提出，如有问题，也请反馈，只想跟大佬们一起进步，加油，奥里给。mysql 版本5.7 注意：不需要开启。MysqlReader:读取源mysql数据。MysqlWriter:写入目标Mysql。windows11 IDEA 本地运行。数据一批次性同步非CDC功能哈。MysqlCdcMysql:主类。，因为是基于表数据查询获取数据。目标表:user_new。
2023-06-19 09:14:02
437
原创 Flink SQL方式一次性同步单表Mysql数据到Mysql
注意：insert into 程序执行一次，数据就会重复一次哦，现在还没有实现overwrite功能，想要插入前清空表数据还得再拿JDBCDriver 去写一个sql执行。(同步多次时，只有第一次成功，其余程序不报错，数据是进不去的，主键冲突。源表没有主键但有重复的数据，目标表没有主键，数据会完整同步过去。源表没有主键，目标表没有主键，数据会完整同步过去。源表没有主键但有重复的数据，目标表有主键，程序运行没有报错但是数据同步不过去。源表有主键，目标表没有主键，数据会完整同步过去。
2023-06-16 16:21:09
1304
1
原创 Flink on yarn 提交任务报错记录
INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
2023-06-08 11:31:51
523
原创 java.sql.SQLException: No suitable driver
spark 读写mysql，本地调试运行OK，打包集群运行：20/08/04 19:28:01 ERROR yarn.ApplicationMaster: User class threw exception: java.sql.SQLException: No suitable driverjava.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) a
2020-08-04 19:51:12
590
原创 spark java.lang.ExceptionInInitializerError 累加器使用
记一次spark 累加器使用记录正确代码：object SparkTest { val sparkConf: SparkConf = new SparkConf() .setMaster("local[3]") .setAppName("Test") val session: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate() val longAccumulator:
2020-07-29 17:03:43
1318
原创 Spark sql NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions
spark sql 写入hive 分区表报错：程序本身无BUG，因为之前跑过的，并且这个错是在CDH集群上spark组件重新安装后出现的。这个报错是在程序读取数据，开始写入分区时出现。Exception in thread "main" java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.
2020-05-27 19:59:14
1294
原创 Spark Exception in thread main java.lang.AbstractMethodError
都是CDH集群模式测试Spark安装包： SPARK2_ON_YARN-2.1.0.cloudera1.jarSPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.232957-el6.parcelSPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.232957-el6.parcel.sha manifest.json生产Spark安装包： ...
2020-05-27 16:41:22
376
原创 Spark 集群问题排查
第一个问题：再安装完spark后，需要重新部署客户端配置时，执行到最后一个步骤：报错仅完成 0/4 个步骤。首个失败：主机 staging-master (id=1) 上的客户端配置 (id=34) 已使用 1 退出，而预期值为 0。原因：因为cm安装spark不会去环境变量去找java，而是去/usr/java/default查找这个在机器上：mkdir /usr/java ln -s /opt/module/jdk1.8.0_144/ /usr/java/default但是却还没.
2020-05-21 09:18:46
355
原创 idea Tomcat Catalina.Log 中文乱码
问题：tomcat启动，server日志无异常，Tomcat Catalina 日志中文乱码，下图为修改后，重启OK.看网友好多改各种配置文件，啥玩意都试了，这小窗口就是乱码。由于是catalina日志乱码，在tomcat bin目录下，找到catalina.sh 文件，找日志配置，改编码格式。发现日志配置指定了conf 文件下logging.properties 文件。# Set jul...
2020-04-13 22:16:51
6492
4
原创 IDEA 本地调试spark程序 Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.
1.很简单的一测试程序：2.run运行时：出现ERROR,报错行显示在 new SparkContext 这行。val sc = new SparkContext(conf)Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lsca...
2020-03-11 22:57:32
575
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人