大数据学习之路
学大数据的小明
日拱一卒,功不唐捐
展开
-
Hive删除有分区的外部表,重新插入,查询不到数据
我建了一个外部表,并且在创建表时设置了分区,当我把这个外部表删除后,重新建一模一样的表,却查询不到数据。(按理说,删除外部表,不会删除数据的,怎么会查不到数据呢)原创 2023-12-29 21:06:36 · 590 阅读 · 1 评论 -
Spark保存到HDFS上的数据有表头怎么去除
由于我对数据进行了df.groupBy操作,导致我另存到HDFS上的csv文件每隔一行就是一个表头。(1)如果只有第一行有表头可以在hive建表时在最后一行添加这样一行代码。(2)可是我这是每隔一行就有一行表头,就在写入的时候不写入表头就可以。这样就不会读取第一行的表头了。原创 2023-06-11 11:20:05 · 388 阅读 · 1 评论 -
Spark保存数据到HDFS报权限错误:Permission denied: user=hadoop, access=WRITE, inode=“/myhdfs/job“:root:super
当我在Spark处理好数据后,想保存到HDFS上后,发现IDEA报了Permission denied: user=hadoop, access=WRITE, inode="/myhdfs/job":root:super这个权限错误。一是重新切换到hadoop用户下,以hadoop用户身份重新新建一个目录,然后再保存到这个新建的。经排查,发现是我保存的路径是root用户下创建的,而我IDEA里面是hadoop用户。二是修改之前路径的权限,允许hadoop用户修改。原创 2023-06-09 12:18:38 · 544 阅读 · 0 评论 -
解决Scala项目中java.lang.reflect.InaccessibleObjectException报错
本文主要解决在Scala项目中java.lang.reflect.InaccessibleObjectException的报错问题,但个人感觉在其他maven项目中,遇到此类问题也可以用同样的方法解决。2.1由于在hadoop配置文件中我的jdk版本是1.8,而IDEA中jdk的版本是jdk18,所以出现了报错。只需要将IDEA中的jdk版本改为jdk1.8即可。1.1在WordCount中,出现报错的一行是。此处更改为jdk1.8(也就是jdk8)即可。1.2出现的报错信息是。原创 2023-03-19 14:05:22 · 826 阅读 · 0 评论 -
小白大数据学习路线
学习顺序:Java se ->计算机基础课->基本算法->Linux基础命令->MySQL->maven->Springboot->Hadoop->zookeeper->Hive->Flume/sqoop/dataX->Oozie/Azkaban/Airflow->hbase->redis->kafka->elk->scala->spark->kylin->flink->数仓项目/大数据开发项目/可视化项目/推荐系统原创 2023-02-03 12:04:02 · 122 阅读 · 1 评论