学大数据的小明-CSDN博客

原创 Oracle数据库如何导入dump文件

在Oracle中，可以理解为一个用户就是一个数据库，然后数据是存放在表空间中的。导入文件，有两种格式，看导出文件是以什么方式的。有IMP方式和IMPDB方式。本文为IMPDBN方式。

2024-06-12 21:31:15 234

原创 Navicat连接Oracle sys用户连接不上

众所周知，使用系统管理用户（sys）登录Oracle，需要写成sys as sysdba形式，但是在Navicat中，这样写就会报错。在高级选项中，将默认的角色改为SYSDBA就可以了。

2024-06-11 20:38:52 197

原创 Hive删除有分区的外部表，重新插入，查询不到数据

我建了一个外部表，并且在创建表时设置了分区，当我把这个外部表删除后，重新建一模一样的表，却查询不到数据。（按理说，删除外部表，不会删除数据的，怎么会查不到数据呢）

2023-12-29 21:06:36 539 1

原创 Spark打成Jar包只有3KB

由于我将打成的jar放入到linux中，进行spark-submit运行，报了没有发现类的错误。然后我就重新打jar包，发现jar包只有3kb，肯定是打Jar包的问题，所以才会没有类。我是先clean, 然后再打包的，然后出现了这样的错误。

2023-12-29 20:54:49 552 1

原创 java.sql.SQLException: Cannot create错误

本来用德鲁伊能正常的从数据库查询数据，但就修改了compeonumtab这个实体，给它添加了一个有参构造器，就报错了。在compeonumtab这个类中，添加一个无参构造器就可以了！在没有添加有参构造器时，默认有一个无参构造器。

2023-06-15 16:00:17 623 2

原创 Spark保存到HDFS上的数据有表头怎么去除

由于我对数据进行了df.groupBy操作，导致我另存到HDFS上的csv文件每隔一行就是一个表头。（1）如果只有第一行有表头可以在hive建表时在最后一行添加这样一行代码。（2）可是我这是每隔一行就有一行表头，就在写入的时候不写入表头就可以。这样就不会读取第一行的表头了。

2023-06-11 11:20:05 359 1

原创 Spark保存数据到HDFS报权限错误：Permission denied: user=hadoop, access=WRITE, inode=“/myhdfs/job“:root:super

当我在Spark处理好数据后，想保存到HDFS上后，发现IDEA报了Permission denied: user=hadoop, access=WRITE, inode="/myhdfs/job":root:super这个权限错误。一是重新切换到hadoop用户下，以hadoop用户身份重新新建一个目录，然后再保存到这个新建的。经排查，发现是我保存的路径是root用户下创建的，而我IDEA里面是hadoop用户。二是修改之前路径的权限，允许hadoop用户修改。

2023-06-09 12:18:38 511

原创 xlsx文件（即Excel文件）上传至HDFS乱码问题解决

最后啊，我直接在Excel打开那个文件，然后另存为UTF-8格式的csv文件，这样乱码问题就解决了。

2023-06-08 10:10:08 445 1

原创解决Scala项目中java.lang.reflect.InaccessibleObjectException报错

本文主要解决在Scala项目中java.lang.reflect.InaccessibleObjectException的报错问题，但个人感觉在其他maven项目中，遇到此类问题也可以用同样的方法解决。2.1由于在hadoop配置文件中我的jdk版本是1.8，而IDEA中jdk的版本是jdk18，所以出现了报错。只需要将IDEA中的jdk版本改为jdk1.8即可。1.1在WordCount中，出现报错的一行是。此处更改为jdk1.8（也就是jdk8）即可。1.2出现的报错信息是。

2023-03-19 14:05:22 736

原创小白大数据学习路线

学习顺序：Java se ->计算机基础课->基本算法->Linux基础命令->MySQL->maven->Springboot->Hadoop->zookeeper->Hive->Flume/sqoop/dataX->Oozie/Azkaban/Airflow->hbase->redis->kafka->elk->scala->spark->kylin->flink->数仓项目/大数据开发项目/可视化项目/推荐系统

2023-02-03 12:04:02 111 1

m0_63246205的博客