Spark实训
学大数据的小明
日拱一卒,功不唐捐
展开
-
Hive删除有分区的外部表,重新插入,查询不到数据
我建了一个外部表,并且在创建表时设置了分区,当我把这个外部表删除后,重新建一模一样的表,却查询不到数据。(按理说,删除外部表,不会删除数据的,怎么会查不到数据呢)原创 2023-12-29 21:06:36 · 561 阅读 · 1 评论 -
Spark打成Jar包只有3KB
由于我将打成的jar放入到linux中,进行spark-submit运行,报了没有发现类的错误。然后我就重新打jar包,发现jar包只有3kb,肯定是打Jar包的问题,所以才会没有类。我是先clean, 然后再打包的,然后出现了这样的错误。原创 2023-12-29 20:54:49 · 557 阅读 · 1 评论 -
java.sql.SQLException: Cannot create错误
本来用德鲁伊能正常的从数据库查询数据,但就修改了compeonumtab这个实体,给它添加了一个有参构造器,就报错了。在compeonumtab这个类中,添加一个无参构造器就可以了!在没有添加有参构造器时,默认有一个无参构造器。原创 2023-06-15 16:00:17 · 631 阅读 · 2 评论 -
Spark保存到HDFS上的数据有表头怎么去除
由于我对数据进行了df.groupBy操作,导致我另存到HDFS上的csv文件每隔一行就是一个表头。(1)如果只有第一行有表头可以在hive建表时在最后一行添加这样一行代码。(2)可是我这是每隔一行就有一行表头,就在写入的时候不写入表头就可以。这样就不会读取第一行的表头了。原创 2023-06-11 11:20:05 · 377 阅读 · 1 评论 -
Spark保存数据到HDFS报权限错误:Permission denied: user=hadoop, access=WRITE, inode=“/myhdfs/job“:root:super
当我在Spark处理好数据后,想保存到HDFS上后,发现IDEA报了Permission denied: user=hadoop, access=WRITE, inode="/myhdfs/job":root:super这个权限错误。一是重新切换到hadoop用户下,以hadoop用户身份重新新建一个目录,然后再保存到这个新建的。经排查,发现是我保存的路径是root用户下创建的,而我IDEA里面是hadoop用户。二是修改之前路径的权限,允许hadoop用户修改。原创 2023-06-09 12:18:38 · 526 阅读 · 0 评论 -
xlsx文件(即Excel文件)上传至HDFS乱码问题解决
最后啊,我直接在Excel打开那个文件,然后另存为UTF-8格式的csv文件,这样乱码问题就解决了。原创 2023-06-08 10:10:08 · 467 阅读 · 1 评论