etastgrehyjrt-CSDN博客

原创 spark向mysql中写数据，报错不能连接mysql

将$SPARK_HOME/jars/目录下mysql-connector-java-5.1.27.jar删除，经检查，mysql数据库是8.0.12版本，而项目使用的驱动包是5.1.27版本。修改pom文件中mysql驱动版本。猜想可能是驱动包版本不兼容所致。打包执行，仍报之前的错误。

2023-10-17 14:24:49 284

原创 spark yarn模式安装教程

1）Spark查看当前Spark-shell运行任务情况端口号：40402）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口）3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088）4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）

2023-03-15 01:52:59 791

原创 linux常用命令

linux常用命令

2022-11-23 00:01:05 185

原创 hive表的输入输出格式总结

hive输入输出格式总结

2022-11-13 23:07:45 1932

原创 hive中文乱码解决方法

hive中文乱码解决方法

2022-11-13 22:29:02 755

原创 scala教程

scala入门教程

2022-10-24 16:43:37 413 1

原创 spark学习

spark学习

2022-10-24 00:13:27 430

原创 Hbase教程

Hbase是一个分布式的存储海量数据的Nosql数据库，本文主要介绍了hbase入门的一些基础知识。。

2022-10-22 22:52:05 1618

原创解决idea或在集群上运行Spark项目报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found

解决在idea或集群上运行spark程序时，出现Compression codec com.hadoop.compression.lzo.LzoCodec not found的解决方法

2022-04-30 23:04:57 2618 1

原创 mysql中插入数据时主键或unique字段冲突时，使用ON DUPLICATE KEY UPDATE解决问题

mysql中插入数据是，有unique约束的字段发生冲突时，用ON DUPLICATE KEY UPDATE解决问题

2022-04-30 00:33:34 3326

原创 Hive常见属性配置方法

Hive中常见属性的配置方法

2022-04-24 23:16:12 2050

原创 Hive中时间转换函数、窗口函数和字符串操作等常用的函数介绍

Hive中时间转换函数、窗口函数和字符串操作等常用的函数介绍

2022-04-24 22:54:48 499

原创 Hive中的复杂数据类型使用方法

Hive中复杂数据类型介绍

2022-04-24 22:35:54 3075

原创解决idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java .io.IOExceptio

背景：idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java.io.IO.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决办法：安装Windows版本hadoop，再配置环境变量，在idea中添加环境变量第一步下载hadoop的windows版本第二步配置环境变量

2022-04-20 23:52:50 2237