- 博客(15)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 spark向mysql中写数据，报错不能连接mysql
将$SPARK_HOME/jars/目录下mysql-connector-java-5.1.27.jar删除，经检查，mysql数据库是8.0.12版本，而项目使用的驱动包是5.1.27版本。修改pom文件中mysql驱动版本。猜想可能是驱动包版本不兼容所致。打包执行，仍报之前的错误。
2023-10-17 14:24:49
217
原创 spark yarn模式安装教程
1）Spark查看当前Spark-shell运行任务情况端口号：40402）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口）3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088）4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）
2023-03-15 01:52:59
718
原创 解决idea或在集群上运行Spark项目报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found
解决在idea或集群上运行spark程序时，出现Compression codec com.hadoop.compression.lzo.LzoCodec not found的解决方法
2022-04-30 23:04:57
2536
1
原创 mysql中插入数据时主键或unique字段冲突时，使用ON DUPLICATE KEY UPDATE解决问题
mysql中插入数据是，有unique约束的字段发生冲突时，用ON DUPLICATE KEY UPDATE解决问题
2022-04-30 00:33:34
3264
原创 解决idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java .io.IOExceptio
背景：idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java.io.IO.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决办法：安装Windows版本hadoop，再配置环境变量，在idea中添加环境变量第一步 下载hadoop的windows版本第二步 配置环境变量
2022-04-20 23:52:50
2198
原创 解决idea中提交flink任务时出现java.lang.NoClassDefFoundErro的r解决方法
idea中提交运行flink任务是出现java.lang.NoClassDefFoundError的解决方法
2022-04-07 00:27:47
944
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人