- 博客(15)
- 资源 (16)
- 收藏
- 关注
原创 spark向mysql中写数据,报错不能连接mysql
将$SPARK_HOME/jars/目录下mysql-connector-java-5.1.27.jar删除,经检查,mysql数据库是8.0.12版本,而项目使用的驱动包是5.1.27版本。修改pom文件中mysql驱动版本。猜想可能是驱动包版本不兼容所致。打包执行,仍报之前的错误。
2023-10-17 14:24:49
217
原创 spark yarn模式安装教程
1)Spark查看当前Spark-shell运行任务情况端口号:40402)Spark Master内部通信服务端口号:7077 (类比于Hadoop的8020(9000)端口)3)Spark Standalone模式Master Web端口号:8080(类比于Hadoop YARN任务运行情况查看端口号:8088)4)Spark历史服务器端口号:18080 (类比于Hadoop历史服务器端口号:19888)
2023-03-15 01:52:59
718
原创 解决idea或在集群上运行Spark项目报错:Compression codec com.hadoop.compression.lzo.LzoCodec not found
解决在idea或集群上运行spark程序时,出现Compression codec com.hadoop.compression.lzo.LzoCodec not found的解决方法
2022-04-30 23:04:57
2536
1
原创 mysql中插入数据时主键或unique字段冲突时,使用ON DUPLICATE KEY UPDATE解决问题
mysql中插入数据是,有unique约束的字段发生冲突时,用ON DUPLICATE KEY UPDATE解决问题
2022-04-30 00:33:34
3264
原创 解决idea运行Spark项目报错:Failed to locate the winutils binary in the hadoop binary path java .io.IOExceptio
背景:idea运行Spark项目报错:Failed to locate the winutils binary in the hadoop binary path java.io.IO.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决办法:安装Windows版本hadoop,再配置环境变量,在idea中添加环境变量第一步 下载hadoop的windows版本第二步 配置环境变量
2022-04-20 23:52:50
2198
原创 解决idea中提交flink任务时出现java.lang.NoClassDefFoundErro的r解决方法
idea中提交运行flink任务是出现java.lang.NoClassDefFoundError的解决方法
2022-04-07 00:27:47
944
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人